缓慢的 MongoDB 查询

如何解决缓慢的 MongoDB 查询

我是 MongoDB 的新手,并试图了解为什么我的查询如此缓慢(每个查询 30-150 秒!)。我的数据库包含大约 6000 万个文档。在我的查询中,我需要结合参数搜索和全文搜索。这是我要分析的查询:

db.collection.explain("executionStats").find(
    {"property.multi.value_title": "Pearson Education (US)","pricing.price" : {$gte: 70,$lte: 600},$text: { $search: "app" }
    }).count()

这是解释结果:

{
        "queryPlanner" : {
                "plannerVersion" : 1,"namespace" : "test.collection","indexFilterSet" : false,"parsedQuery" : {
                        "$and" : [
                                {
                                        "property.multi.value_title" : {
                                                "$eq" : "Pearson Education (US)"
                                        }
                                },{
                                        "pricing.price" : {
                                                "$lte" : 600
                                        }
                                },{
                                        "pricing.price" : {
                                                "$gte" : 70
                                        }
                                },{
                                        "$text" : {
                                                "$search" : "app","$language" : "none","$caseSensitive" : false,"$diacriticSensitive" : false
                                        }
                                }
                        ]
                },"winningPlan" : {
                        "stage" : "COUNT","inputStage" : {
                                "stage" : "FETCH","filter" : {
                                        "$and" : [
                                                {
                                                        "pricing.price" : {
                                                                "$lte" : 600
                                                        }
                                                },{
                                                        "pricing.price" : {
                                                                "$gte" : 70
                                                        }
                                                },{
                                                        "property.multi.value_title" : {
                                                                "$eq" : "Pearson Education (US)"
                                                        }
                                                }
                                        ]
                                },"inputStage" : {
                                        "stage" : "TEXT","indexPrefix" : {

                                        },"indexName" : "translate.cs.content_text","parsedTextQuery" : {
                                                "terms" : [
                                                        "app"
                                                ],"negatedTerms" : [ ],"phrases" : [ ],"negatedPhrases" : [ ]
                                        },"textIndexVersion" : 3,"inputStage" : {
                                                "stage" : "TEXT_MATCH","inputStage" : {
                                                        "stage" : "FETCH","inputStage" : {
                                                                "stage" : "OR","inputStage" : {
                                                                        "stage" : "IXSCAN","keyPattern" : {
                                                                                "_fts" : "text","_ftsx" : 1
                                                                        },"isMultiKey" : true,"isUnique" : false,"isSparse" : false,"isPartial" : false,"indexVersion" : 2,"direction" : "backward","indexBounds" : {

                                                                        }
                                                                }
                                                        }
                                                }
                                        }
                                }
                        }
                },"rejectedPlans" : [ ]
        },"executionStats" : {
                "executionSuccess" : true,"nReturned" : 0,"executionTimeMillis" : 29794,"totalKeysExamined" : 7996,"totalDocsExamined" : 15992,"executionStages" : {
                        "stage" : "COUNT","executionTimeMillisEstimate" : 27400,"works" : 7997,"advanced" : 0,"needTime" : 7996,"needYield" : 0,"saveState" : 1220,"restoreState" : 1220,"isEOF" : 1,"nCounted" : 6,"nSkipped" : 0,"nReturned" : 6,"advanced" : 6,"needTime" : 7990,"docsExamined" : 7996,"alreadyHasObj" : 7996,"nReturned" : 7996,"executionTimeMillisEstimate" : 27390,"advanced" : 7996,"needTime" : 0,"docsRejected" : 0,//HERE
                                                        "executionTimeMillisEstimate" : 27380,"alreadyHasObj" : 0,"executionTimeMillisEstimate" : 175,"dupsTested" : 7996,"dupsDropped" : 0,"executionTimeMillisEstimate" : 165,"indexBounds" : {

                                                                        },"keysExamined" : 7996,"seeks" : 1,"dupsDropped" : 0
                                                                }
                                                        }
                                                }
                                        }
                                }
                        }
                }
        },"serverInfo" : {
                "host" : "ubuntu2004","port" : 27017,"version" : "4.4.1","gitVersion" : "ad91a93a5a31e175f5cbf8c69561e788bbc55ce1"
        },"ok" : 1
}

我无法在文本索引中指定我的语言,因为我的 MongoDB 不支持它。

我正在查看 executionStats 部分的时间估计,我注意到在 IXSCANOR 操作之后,每个大约需要 170 毫秒,时间突然跳到 "executionTimeMillisEstimate" : 27380FETCH 部分。

有人可以解释一下这是什么意思以及如何提高此查询的性能吗?

编辑:这些是我收藏的索引:

        {
            "v" : 2,"key" : {
                    "_id" : 1
            },"name" : "_id_"
    },{
            "v" : 2,"key" : {
                    "_fts" : "text","_ftsx" : 1
            },"name" : "translate.cs.content_text","default_language" : "none","language_override" : "none","weights" : {
                    "translate.cs.content" : 1
            },"textIndexVersion" : 3
    },"key" : {
                    "property" : 1
            },"name" : "property_1"
    },"key" : {
                    "property.multi.value_title" : 1
            },"name" : "property.multi.value_title_1"
    }

解决方法

您需要创建一个确保选择性的查询。为此,您可以创建一个 compound index。另外值得一提的是,您可以在文本索引中specified a language(默认为英文)

db.collection.createIndex(
   { 
    property.multi.value_title: 1,field: "text",pricing.price: 1
 },{ default_language: "spanish" }
)

对于复合索引,ESR 有助于决定索引中字段的顺序:

  1. 首先,添加运行 Equality 查询所针对的字段。
  2. 接下来要编入索引的字段应反映查询的排序顺序。
  3. 最后一个字段表示要访问的数据范围。
,

我的猜测是您的磁盘速度非常慢或内存不足,无法用于此工作负载。

  • 如果您使用的是磁盘,请切换到 SSD。
  • 如果您使用网络附加存储(例如所有 Amazon EBS),请提高您的网络速度(例如更改为“高 I/O”实例类型)。
  • 为数据库提供更多内存。

查看 top 中的 I/O 等待时间以验证工作负载是否受 I/O 限制。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


依赖报错 idea导入项目后依赖报错,解决方案:https://blog.csdn.net/weixin_42420249/article/details/81191861 依赖版本报错:更换其他版本 无法下载依赖可参考:https://blog.csdn.net/weixin_42628809/a
错误1:代码生成器依赖和mybatis依赖冲突 启动项目时报错如下 2021-12-03 13:33:33.927 ERROR 7228 [ main] o.s.b.d.LoggingFailureAnalysisReporter : *************************** APPL
错误1:gradle项目控制台输出为乱码 # 解决方案:https://blog.csdn.net/weixin_43501566/article/details/112482302 # 在gradle-wrapper.properties 添加以下内容 org.gradle.jvmargs=-Df
错误还原:在查询的过程中,传入的workType为0时,该条件不起作用 <select id="xxx"> SELECT di.id, di.name, di.work_type, di.updated... <where> <if test=&qu
报错如下,gcc版本太低 ^ server.c:5346:31: 错误:‘struct redisServer’没有名为‘server_cpulist’的成员 redisSetCpuAffinity(server.server_cpulist); ^ server.c: 在函数‘hasActiveC
解决方案1 1、改项目中.idea/workspace.xml配置文件,增加dynamic.classpath参数 2、搜索PropertiesComponent,添加如下 <property name="dynamic.classpath" value="tru
删除根组件app.vue中的默认代码后报错:Module Error (from ./node_modules/eslint-loader/index.js): 解决方案:关闭ESlint代码检测,在项目根目录创建vue.config.js,在文件中添加 module.exports = { lin
查看spark默认的python版本 [root@master day27]# pyspark /home/software/spark-2.3.4-bin-hadoop2.7/conf/spark-env.sh: line 2: /usr/local/hadoop/bin/hadoop: No s
使用本地python环境可以成功执行 import pandas as pd import matplotlib.pyplot as plt # 设置字体 plt.rcParams['font.sans-serif'] = ['SimHei'] # 能正确显示负号 p
错误1:Request method ‘DELETE‘ not supported 错误还原:controller层有一个接口,访问该接口时报错:Request method ‘DELETE‘ not supported 错误原因:没有接收到前端传入的参数,修改为如下 参考 错误2:cannot r
错误1:启动docker镜像时报错:Error response from daemon: driver failed programming external connectivity on endpoint quirky_allen 解决方法:重启docker -> systemctl r
错误1:private field ‘xxx‘ is never assigned 按Altʾnter快捷键,选择第2项 参考:https://blog.csdn.net/shi_hong_fei_hei/article/details/88814070 错误2:启动时报错,不能找到主启动类 #
报错如下,通过源不能下载,最后警告pip需升级版本 Requirement already satisfied: pip in c:\users\ychen\appdata\local\programs\python\python310\lib\site-packages (22.0.4) Coll
错误1:maven打包报错 错误还原:使用maven打包项目时报错如下 [ERROR] Failed to execute goal org.apache.maven.plugins:maven-resources-plugin:3.2.0:resources (default-resources)
错误1:服务调用时报错 服务消费者模块assess通过openFeign调用服务提供者模块hires 如下为服务提供者模块hires的控制层接口 @RestController @RequestMapping("/hires") public class FeignControl
错误1:运行项目后报如下错误 解决方案 报错2:Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.8.1:compile (default-compile) on project sb 解决方案:在pom.
参考 错误原因 过滤器或拦截器在生效时,redisTemplate还没有注入 解决方案:在注入容器时就生效 @Component //项目运行时就注入Spring容器 public class RedisBean { @Resource private RedisTemplate<String
使用vite构建项目报错 C:\Users\ychen\work>npm init @vitejs/app @vitejs/create-app is deprecated, use npm init vite instead C:\Users\ychen\AppData\Local\npm-