MongoDB数据库中索引和explain的使用教程

前言

本文主要给大家介绍了关于MongoDB中索引和explain使用的相关内容,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍:

mongodb 索引使用

作用

  • 索引通常能够极大的提高查询。
  • 索引是一种数据结构,他搜集一个集合中文档特定字段的值。
  • B-Tree索引来实现。

创建索引

db.collection.createIndex(keys,options)

keys

  • keys由文档字段和索引类型组成。如{"name":1}
  • key 表示字段 value 1,-1  1表示升序,-1降序

options

options 创建索引的选项。

参数 类型 描述
background boolean 创建索引在后台运行,不会阻止其他对数据库操作
unique boolean 创建唯一索引,文档的值不会重复
name string 索引名称,默认是:字段名_排序类型 开始排序
sparse boolean 过滤掉null,不存在的字段

查看索引

 db.collection.getIndexes()
 {
  "v" : 1,"key" : {
   "_id" : 1
  },"name" : "_id_","ns" : "leyue.userdatas"
 },{
  "v" : 1,"key" : {
   "name" : 1 //索引字段
  },"name" : "name_1",//索引名称
  "ns" : "leyue.userdatas"
 }

删除索引

    db.collection.dropIndex(index) 删除指定的索引。

    db.collection.dropIndexes() 删除除了_id 以外的所有索引。

  • index 是字符串 表示按照索引名称 name 删除字段。
  • index 是{字段名称:1} 表示按照key 删除索引。

创建/查看/删除 示例

查看数据

  db.userdatas.find()
{ "_id" : ObjectId("597f357a09c84cf58880e412"),"name" : "u3","age" : 32 }
{ "_id" : ObjectId("597f357a09c84cf58880e411"),"name" : "u4","age" : 30,"score" : [ 7,4,2,0 ] }
{ "_id" : ObjectId("597fcc0f411f2b2fd30d0b3f"),"age" : 20,10,9,8,7 ],"name" : "lihao" }
{ "_id" : ObjectId("597f357a09c84cf58880e413"),"name" : "u2","age" : 33,"wendang" : { "yw" : 80,"xw" : 90 } }
{ "_id" : ObjectId("5983f5c88eec53fbcd56a7ca"),"date" : ISODate("2017-08-04T04:19:20.693Z") }
{ "_id" : ObjectId("597f357a09c84cf58880e40e"),"name" : "u1","age" : 26,"address" : "中国砀山" }
{ "_id" : ObjectId("597f357a09c84cf58880e40f"),"age" : 37,"score" : [ 10,203,12,43,56,22 ] }
{ "_id" : ObjectId("597f357a09c84cf58880e410"),"name" : "u5","age" : 78,"address" : "china beijing chaoyang" }

给字段name 创建索引

 // 创建索引
 db.userdatas.createIndex({"name":1})

 {
  "createdCollectionAutomatically" : false,"numIndexesBefore" : 1,"numIndexesAfter" : 2,"ok" : 1
 }


 // 查看索引
 db.userdatas.getIndexes()

 [
  {
   "v" : 1,"key" : {
    "_id" : 1
   },"ns" : "leyue.userdatas"
  },{
   "v" : 1,"key" : {
    "name" : 1
   },"ns" : "leyue.userdatas"
  }
 ]

给字段name 创建索引并命名为myindex

 db.userdatas.createIndex({"name":1})

 db.userdatas.createIndex({"name":1},{"name":"myindex"})

 db.userdatas.getIndexes()
 [
  {
   "v" : 1,"name" : "myindex","ns" : "leyue.userdatas"
  }
 ]

给字段name 创建索引 创建的过程在后台执行

当mongodb 集合里面的数据过大时 创建索引很耗时,可以在放在后台运行。

 db.userdatas.dropIndex("myindex")

 db.userdatas.createIndex({"name":1},{"name":"myindex","background":true})

给age 字段创建唯一索引

 db.userdatas.createIndex({"age":-1},{"name":"ageIndex","unique":true,"sparse":true})

 db.userdatas.getIndexes()

[
 {
  "v" : 1,"key" : {
   "name" : 1
  },"ns" : "leyue.userdatas","background" : true
 },"unique" : true,"key" : {
   "age" : -1
  },"name" : "ageIndex","sparse" : true
 }
]

// 插入一个已存在的age
 db.userdatas.insert({ "name" : "u8","age" : 32})


WriteResult({
 "nInserted" : 0,"writeError" : {
  "code" : 11000,"errmsg" : "E11000 duplicate key error index: leyue.userdatas.$ageIndex dup key: { : 32.0 }"
 }
})

创建复合索引

 db.userdatas.createIndex({"name":1,"age":-1})

 db.userdatas.getIndexes()
[
 {
  "v" : 1,"key" : {
   "name" : 1,"age" : -1
  },"name" : "name_1_age_-1","ns" : "leyue.userdatas"
 }
]

所有的字段都存在集合 system.indexes 中

db.system.indexes.find()
{ "v" : 1,"key" : { "_id" : 1 },"ns" : "leyue.userdatas" }
{ "v" : 1,"ns" : "leyue.scores" }
{ "v" : 1,"ns" : "leyue.test" }
{ "v" : 1,"key" : { "user" : 1,"name" : 1 },"ns" : "leyue.mycapped" }
{ "v" : 1,"key" : { "user" : 1 },"name" : "user_1","key" : { "name" : 1 },"ns" : "leyue.userdatas" }

索引总结

      1:创建索引时,1表示按升序存储,-1表示按降序存储。

      2:可以创建复合索引,如果想用到复合索引,必须在查询条件中包含复合索引中的前N个索引列

      3: 如果查询条件中的键值顺序和复合索引中的创建顺序不一致的话,

            MongoDB可以智能的帮助我们调整该顺序,以便使复合索引可以为查询所用。

      4: 可以为内嵌文档创建索引,其规则和普通文档创建索引是一样的。

      5: 一次查询中只能使用一个索引,$or特殊,可以在每个分支条件上使用一个索引。

      6: $where,$exists不能使用索引,还有一些低效率的操作符,比如:$ne,$not,$nin等。

      7: 设计多个字段的索引时,应该尽量将用于精确匹配的字段放在索引的前面。

explain 使用

语法

 db.collection.explain().<method(...)>

explain() 可以设置参数 :

  • queryPlanner。
  • executionStats。
  • allPlansExecution。

示例

for(var i=0;i<100000;i++) {
 db.test.insert({"user":"user"+i});
}

没有使用索引

 db.test.explain("executionStats").find({"user":"user200000"})
{
 "queryPlanner" : {
  "plannerVersion" : 1,"namespace" : "leyue.test","indexFilterSet" : false,"parsedQuery" : {
   "user" : {
    "$eq" : "user200000"
   }
  },"winningPlan" : {
   "stage" : "COLLSCAN","filter" : {
    "user" : {
     "$eq" : "user200000"
    }
   },"direction" : "forward"
  },"rejectedPlans" : [ ]
 },"executionStats" : {
  "executionSuccess" : true,"nReturned" : 2,"executionTimeMillis" : 326,"totalKeysExamined" : 0,"totalDocsExamined" : 1006497,"executionStages" : {
   "stage" : "COLLSCAN","executionTimeMillisEstimate" : 270,"works" : 1006499,"advanced" : 2,"needTime" : 1006496,"needYield" : 0,"saveState" : 7863,"restoreState" : 7863,"isEOF" : 1,"invalidates" : 0,"direction" : "forward","docsExamined" : 1006497
  }
 },"serverInfo" : {
  "host" : "lihaodeMacBook-Pro.local","port" : 27017,"version" : "3.2.1","gitVersion" : "a14d55980c2cdc565d4704a7e3ad37e4e535c1b2"
 },"ok" : 1
}
  • executionStats.executionTimeMillis: query的整体查询时间。
  • executionStats.nReturned : 查询返回的条目。
  • executionStats.totalKeysExamined : 索引扫描条目。
  • executionStats.totalDocsExamined: 文档扫描条目。

executionTimeMillis = 326 query 执行时间

nReturned=2 返回两条数据

totalKeysExamined=0 没有用到索引

totalDocsExamined 全文档扫描

理想状态:

nReturned=totalKeysExamined & totalDocsExamined=0

Stage状态分析

stage 描述
COLLSCAN 全表扫描
IXSCAN 扫描索引
FETCH 根据索引去检索指定document
SHARD_MERGE 将各个分片返回数据进行merge
SORT 表明在内存中进行了排序
LIMIT 使用limit限制返回数
SKIP 使用skip进行跳过
IDHACK 针对_id进行查询
SHARDING_FILTER 通过mongos对分片数据进行查询
COUNT 利用db.coll.explain().count()之类进行count运算
COUNTSCAN count不使用Index进行count时的stage返回
COUNT_SCAN count使用了Index进行count时的stage返回
SUBPLA 未使用到索引的$or查询的stage返回
TEXT 使用全文索引进行查询时候的stage返回
PROJECTION 限定返回字段时候stage的返回

对于普通查询,我希望看到stage的组合(查询的时候尽可能用上索引):

       Fetch+IDHACK

       Fetch+ixscan

       Limit+(Fetch+ixscan)

       PROJECTION+ixscan

       SHARDING_FITER+ixscan

       COUNT_SCAN

不希望看到包含如下的stage:

COLLSCAN(全表扫描),SORT(使用sort但是无index),不合理的SKIP,SUBPLA(未用到index的$or),COUNTSCAN(不使用index进行count)

使用索引

  db.test.createIndex({"user":1},"background":true})

  db.test.explain("executionStats").find({"user":"user200000"})
{
  "queryPlanner" : {
    "plannerVersion" : 1,"parsedQuery" : {
      "user" : {
        "$eq" : "user200000"
      }
    },"winningPlan" : {
      "stage" : "FETCH","inputStage" : {
        "stage" : "IXSCAN","keyPattern" : {
          "user" : 1
        },"indexName" : "myindex","isMultiKey" : false,"isUnique" : false,"isSparse" : false,"isPartial" : false,"indexVersion" : 1,"indexBounds" : {
          "user" : [
            "[\"user200000\",\"user200000\"]"
          ]
        }
      }
    },"rejectedPlans" : [ ]
  },"executionStats" : {
    "executionSuccess" : true,"executionTimeMillis" : 0,"totalKeysExamined" : 2,"totalDocsExamined" : 2,"executionStages" : {
      "stage" : "FETCH","executionTimeMillisEstimate" : 0,"works" : 3,"needTime" : 0,"saveState" : 0,"restoreState" : 0,"docsExamined" : 2,"alreadyHasObj" : 0,\"user200000\"]"
          ]
        },"keysExamined" : 2,"dupsTested" : 0,"dupsDropped" : 0,"seenInvalidated" : 0
      }
    }
  },"serverInfo" : {
    "host" : "lihaodeMacBook-Pro.local","gitVersion" : "a14d55980c2cdc565d4704a7e3ad37e4e535c1b2"
  },"ok" : 1
}

executionTimeMillis: 0

totalKeysExamined: 2

totalDocsExamined:2

nReturned:2

stage:IXSCAN

使用索引和不使用差距很大,合理使用索引,一个集合适合做 4-5 个索引。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能带来一定的帮助,如果有疑问大家可以留言交流,谢谢大家对编程小技巧的支持。

相关文章

http://www.mongoing.com/eshu_explain3

https://docs.mongodb.com/v3.2/reference/explain-results/#queryplanner

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


文章浏览阅读552次。com.mongodb.MongoQueryException: Query failed with error code 292 and error message 'Executor error during find command :: caused by :: Sort exceeded memory limit of 104857600 bytes, but did not opt in to external sorting.' on server 11.51.141.63:27017 _mongodb 大文件 下载失败
文章浏览阅读635次,点赞9次,收藏8次。MongoDB 是一种 NoSQL 数据库,它将每个数据存储为一个文档,这里的文档类似于 JSON/BSON 对象,具体数据结构由键值(key/value)对组成。
文章浏览阅读2.1k次。和。_mongodb 日期类型
文章浏览阅读1.7k次。Scalestack等客户期待使用MongoDB Atlas Vector Search和Amazon Bedrock构建下一代应用程序
文章浏览阅读970次。SpringBoot整合中间件mongodb、ES_springboot3 elasticsearch json数据
文章浏览阅读673次。MongoDB 简介_尚医通sql
文章浏览阅读1k次,点赞8次,收藏9次。官网下载MongoDB安装包后进行解压(因了解并不深入,故暂不进行详细说明,自行查找其他安装方法,后期了解深入后将进行该教程的完善)在bin目录下使用命令启动:./mongod --config …/mongodb.conf。该文章任然处于完善中,如果存在错误遗漏的地方,欢迎私信联系。安装相关的nuget包后即可通过以下方法连接数据。YX9010_0@的第二十篇文章。
文章浏览阅读1.2k次,点赞17次,收藏26次。社交场景, 使用 MongoDB 存储存储用户信息, 以及用户发表的朋友圈信息, 通过地理位置索引实现附近的人, 地点等功能.游戏场景, 使用 MongoDB 存储游戏用户信息, 用户的装备, 积分等直接以内嵌文档的形式存储, 方便查询, 高效率存储和访问.物流场景, 使用 MongoDB 存储订单信息, 订单状态在运送过程中会不断更新, 以 MongoDB 内嵌数组的形式来存储, 一次查询就能将订单所有的变更读取出来.物联网场景, 使用 MongoDB 存储所有接入的智能设备信息, 以及设备汇报的日
文章浏览阅读686次。您可以使用 update_one() 方法来更新 MongoDB 中调用的记录或文档。update_one() 方法的第一个参数是 query 对象,用于定义要更新的文档。注释:如果查询找到多个记录,则仅更新第一个匹配项。第二个参数是定义文档新值的对象。_python 更新 mongodb 数据
文章浏览阅读1.3k次。首先来学习一下nosql这里安装就不进行介绍 只记录一下让自己了解mongodb。_nosql注入
文章浏览阅读4.1k次,点赞8次,收藏7次。在data的目录下,创建一个db文件。因为启动MongoDB服务之前必须创建数据库文件的存放文件夹,否则命令不会自动创建,而且不能启动成功。第一步:安装时,Custom是指可以自定义安装路径,然后傻瓜式安装即可(注意:先不要安装图形化工具,否则安装时间会特别长):如果要想连接成功,必须要开服务,即mongod -dbpath C:MongoDBdatadb的cmd要一直开着。然后回车,ctrl+F输入port找到端口号,一般为:27017。打开命令行,然后找到bin文件地址,并输入。_mongodb windows安装
文章浏览阅读5.1k次,点赞3次,收藏43次。详细介绍MongoDB数据库的基本知识,安装方法,基本操作,_mongodb数据库
文章浏览阅读3.2k次。安装教程翻看以往文章。_navicat 连接mongodb
文章浏览阅读426次,点赞9次,收藏12次。win10开放端口:https://blog.csdn.net/m0_43605481/article/details/119255256。我的是阿里云服务器,所以直接在安全组中加入规则,端口范围:27017,授权对象:0.0.0.0。windows在mongodb安装文件夹的bin文件夹中的mongod.cfg。数据库名字是test,打算创建一个用户,账号aaa,密码bbb,权限readWrite。因为该用户是创建在test数据库的,所以在最后要加上test。O了,然后恢复了test的数据。
文章浏览阅读1.1k次。聚合操作主要用于处理数据并返回计算结果。聚合操作将来自多个文档的值组合在一起,按条件分组后,再进行一系列操作(如求和、平均值、最大值、最小值)以返回单个结果。MongoDB的聚合查询​聚合是MongoDB的高级查询语言,它允许我们通过转化合并由多个文档的数据来生成新的在单个文档里不存在的文档信息。MongoDB中聚合(aggregate)主要用于处理数据(例如分组统计平均值、求和、最大值等),并返回计算后的数据结果,有点类似sql语句中的count(*)、groupby。..._如何将几个db的数据统整在一起做查询
文章浏览阅读680次,点赞7次,收藏8次。(2)application.properties配置文件。(4)UserService类。(5)测试和测试结果。
文章浏览阅读1k次,点赞17次,收藏25次。Studio 3T 2023.9 (macOS, Linux, Windows) - MongoDB 的专业 GUI、IDE 和 客户端,支持自然语言查询_mongodb客户端
文章浏览阅读1.1k次,点赞32次,收藏27次。插件式的存储引擎架构可以实现 Server 层和存储引擎层的解耦,可以支持多种存储引擎,如 MySQL 既可以支持 B-Tree 结构的 InnoDB 存储引擎,还可以支持 LSM 结构的 RocksDB 存储引擎。MongoDB 中的记录就是一个 BSON 文档,它是由键值对组成的数据结构,类似于 JSON 对象,是 MongoDB 中的基本数据单元。的简称,是 JSON 文档的二进制表示,支持将文档和数组嵌入到其他文档和数组中,还包含允许表示不属于 JSON 规范的数据类型的扩展。
文章浏览阅读5.1k次,点赞6次,收藏96次。本文设计了一种基于智能室内温度控制的自动调速风扇。以STM32系列单片机为核心主控板,通过程序代码驱动和使用温度传感器模块实现对环境温度的实时监测,并可以实时显示环境温度。同时,可以设置温度检测的上下警告值,根据需求自行调节。_stm32 温控风扇
文章浏览阅读898次,点赞13次,收藏21次。在MongoDB中,我们使用find()和find_one()方法来在集合中查找数据,就像在MySQL数据库中使用SELECT语句来在表中查找数据一样。_pymongo find_one