db.example_collection.find({
"idField" :
{ "$regex" : "1234567890123" />

解決正則表示式匹配($regex)引起的一次mongo數據庫cpu占用率高的問題

 更新時間:2020-01-15 15:59:31   作者:佚名   我要評論(0)

某一天,監控到mongo數據庫cpu使用率高了很多,查了一下,發現是下面這種語句引起的:


db.example_collection.find({
"idField" :
{ "$regex" : "1234567890123

某一天,監控到mongo數據庫cpu使用率高了很多,查了一下,發現是下面這種語句引起的:

db.example_collection.find({
 "idField" : 
{ "$regex" : "123456789012345678"
} ,
 "dateField" : 
{ "$regex" : "2019/10/10"
}})

通常,遇到這種情況,我第一反應是缺少相關字段的索引,導致每執行一次這種語句都會全表掃描一次。

但是我用explain( )語句分析了下,發現上面所涉及的兩個字段idField、dateField是有索引的,并且該語句也是有使用到索引的。如下為explain( )的結果:

mgset-11111111:PRIMARY> db.example_collection.find({ "idField" : { "$regex" : "123456789012345678"} , "dateField" : { "$regex" : "2019/10/10"}}).explain("queryPlanner")
{
    "queryPlanner" : {
        "plannerVersion" : 1,
        "namespace" : "example_db.example_collection",
        "indexFilterSet" : false,
        "parsedQuery" : {
            "$and" : [
                {
                    "idField" : {
                        "$regex" : "123456789012345678"
                    }
                },
                {
                    "dateField" : {
                        "$regex" : "2019/10/10"
                    }
                }
            ]
        },
        "winningPlan" : {
            "stage" : "FETCH",
            "inputStage" : {
                "stage" : "IXSCAN",
                "filter" : {
                    "$and" : [
                        {
                            "idField" : {
                                "$regex" : "123456789012345678"
                            }
                        },
                        {
                            "dateField" : {
                                "$regex" : "2019/10/10"
                            }
                        }
                    ]
                },
                "keyPattern" : {
                    "idField" : 1,
                    "dateField" : 1
                },
                "indexName" : "idField_1_dateField_1",
                "isMultiKey" : false,
                "multiKeyPaths" : {
                    "idField" : [ ],
                    "dateField" : [ ]
                },
                "isUnique" : false,
                "isSparse" : false,
                "isPartial" : false,
                "indexVersion" : 2,
                "direction" : "forward",
                "indexBounds" : {
                    "idField" : [
                        "[\"\", {})",
                        "[/123456789012345678/, /123456789012345678/]"
                    ],
                    "dateField" : [
                        "[\"\", {})",
                        "[/2019/10/10/, /2019/10/10/]"
                    ]
                }
            }
        },
        "rejectedPlans" : [ ]
    },
    "ok" : 1
}


查看mongo的日志發現,這種語句執行一次就要800~900ms,的確是比較慢。除非數據庫cpu核數很多,要不然只要這種語句每秒并發稍微高一點,cpu很快就被占滿了。

之后搜索了下,發現有可能是正則表達式的問題。原來,雖然該語句的確是使用了索引,但是explain( )語句的輸出中還有一個字段"indexBounds",表示執行該語句時所需掃描的索引范圍。說實話,上面那個輸出中,我始終沒看明白它那個索引范圍。上面的語句對idField、dateField這兩個字段都進行了普通的正則表達式匹配,我猜測它應該是掃描了整個索引樹,所以導致索引并未實際提升該語句的查詢效率。

我看了下數據庫里面的數據,發現idField、dateField這兩個字段完全沒有必要進行正則匹配,進行普通的文本匹配就行。將正則匹配操作$regex去掉之后,再分析一下,結果是這樣的:

mgset-11111111:PRIMARY> db.example_collection.find({ "idField" : "123456789012345678", "dateField" : "2019/10/10"}).explain("queryPlanner")
{
    "queryPlanner" : {
        "plannerVersion" : 1,
        "namespace" : "example_db.example_collection",
        "indexFilterSet" : false,
        "parsedQuery" : {
            "$and" : [
                {
                    "idField" : {
                        "$eq" : "123456789012345678"
                    }
                },
                {
                    "dateField" : {
                        "$eq" : "2019/10/10"
                    }
                }
            ]
        },
        "winningPlan" : {
            "stage" : "FETCH",
            "inputStage" : {
                "stage" : "IXSCAN",
                "keyPattern" : {
                    "idField" : 1,
                    "dateField" : 1
                },
                "indexName" : "idField_1_dateField_1",
                "isMultiKey" : false,
                "multiKeyPaths" : {
                    "idField" : [ ],
                    "dateField" : [ ]
                },
                "isUnique" : false,
                "isSparse" : false,
                "isPartial" : false,
                "indexVersion" : 2,
                "direction" : "forward",
                "indexBounds" : {
                    "idField" : [
                        "[\"123456789012345678\", \"123456789012345678\"]"
                    ],
                    "dateField" : [
                        "[\"2019/10/10\", \"2019/10/10\"]"
                    ]
                }
            }
        },
        "rejectedPlans" : [ ]
    },
    "ok" : 1
}

可以看到,仍然使用到了索引,并且索引掃描范圍是僅限于一個值的。

后來跟開發人員確認了下,該語句確實沒必要使用正則匹配,就讓他把正則匹配去掉了。之后就沒有再出現問題了,mongo慢日志中也未再出現該語句。

總結

以上所述是小編給大家介紹的解決正則表示式匹配($regex)引起的一次mongo數據庫cpu占用率高的問題,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回復大家的。在此也非常感謝大家對腳本之家網站的支持!
如果你覺得本文對你有幫助,歡迎轉載,煩請注明出處,謝謝!

您可能感興趣的文章:

  • 中文正則表達式匹配問題之正則表達式中文匹配使用方法
  • Python正則表達式匹配日期與時間的方法
  • Python正則表達式匹配數字和小數的方法
  • python字符串中匹配數字的正則表達式
  • Python正則表達式匹配和提取IP地址
  • 一個正則表達式導致CPU 利用率居高不下

相關文章

  • jsp 實現的簡易mvc模式示例

    jsp 實現的簡易mvc模式示例

    本文實例講述了jsp 實現的簡易mvc模式。分享給大家供大家參考,具體如下: jsp : java servlet page MVC全名是Model View Controller,是模型(model)-視圖(view)-
    2020-01-15
  • 解決正則表示式匹配($regex)引起的一次mongo數據庫cpu占用率高的問題

    解決正則表示式匹配($regex)引起的一次mongo數據庫cpu占用率高的問題

    某一天,監控到mongo數據庫cpu使用率高了很多,查了一下,發現是下面這種語句引起的: db.example_collection.find({ "idField" : { "$regex" : "1234567890123
    2020-01-15
  • 愛站因侵權問題 被迫關閉

    愛站因侵權問題 被迫關閉

    2020年1月9日知名站長工具愛站網出現了“網站維護中,請稍后訪問”,初始很多網友都以為是愛站網臨時升級系統導致的,截止今天(2020年1月12日)還沒有恢復,目前愛站網官方
    2020-01-13
  • es6 for循環中let和var區別詳解

    es6 for循環中let和var區別詳解

    let和var區別: for(var i=0;i<5;i++){ setTimeout(()=>{ console.log(i);//5個5 },100) } console.log(i);//5 console.log('=============') for(let
    2020-01-12
  • python利用JMeter測試Tornado的多線程

    python利用JMeter測試Tornado的多線程

    JMeter的簡介 &#8195;&#8195;JMeter是Apache組織開發的基于Java的壓力測試工具。用于對軟件做壓力測試,它最初被設計用于Web應用測試,但后來擴展到其他測試領域。
    2020-01-12
  • Java 二分法檢索算法代碼實現詳解

    Java 二分法檢索算法代碼實現詳解

    一,二分法檢索算法介紹 二分法檢索(binary search)又稱折半檢索,二分法檢索的基本思想是設字典中的元素從小到大有序地存放在數組(array)中。是最常用的搜索
    2020-01-12
  • Linux下PHP+Apache的26個必知的安全設置

    Linux下PHP+Apache的26個必知的安全設置

    PHP是一種開源服務器端腳本語言,應用很廣泛。Apache web服務器提供了這種便利:通過HTTP或HTTPS協議,訪問文件和內容。配置不當的服務器端腳本語言會帶來各種各樣
    2020-01-12
  • tensorflow的計算圖總結

    tensorflow的計算圖總結

    計算圖 在 TensorFlow 中用計算圖來表示計算任務。 計算圖,是一種有向圖,用來定義計算的結構,實際上就是一系列的函數的組合。 用圖的方式,用戶通過用一些簡單
    2020-01-12
  • Python3.x+迅雷x 自動下載高分電影的實現方法

    Python3.x+迅雷x 自動下載高分電影的實現方法

    快要過年了,大家都在忙些什么呢?一到年底公司各種搶票,備年貨,被這過年的氣氛一烘,都歸心似箭,哪還有心思上班啊。歸心似箭=產出低下=一行代碼十個錯=無聊。于
    2020-01-12
  • 在微信小程序中渲染HTML內容3種解決方案及分析與問題解決

    在微信小程序中渲染HTML內容3種解決方案及分析與問題解決

    大部分Web應用的富文本內容都是以HTML字符串的形式存儲的,通過HTML文檔去展示HTML內容自然沒有問題。但是,在微信小程序(下文簡稱為「小程序」)中,應當如何渲
    2020-01-12

最新評論

买宝宝用品赚钱吗