Mongodb 分片

《Mongodb 分片》要点:
本文介绍了Mongodb 分片,希望对您有用。如果有疑问,可以联系我们。

介绍

分片是指将数据拆分,并分散放在多个服务器中组成一个集群,这可以将N台服务器的性能集中到一起来处理数据,这将很大水平的提高数据处理的速度.

在Mongodb的分片中必需具备三个角色:

  1. 路由服务器:用于处理和响应哀求,并把各个分片服务器查询到的结果处理合并然后返回.

  2. 配置服务器(configServer):存储集群、数据的描写信息.

  3. 分片服务器:用于储存拆分的数据服务器.

而这三个角色都是普通的数据库,只是饰演的角色不一样.

它们的哀求流程、响应就如下图中表示一样:

Mongodb 分片

因为所有的应用程序都是通过路由进行哀求,所以对于应用程序来说,它没有什么不同就如哀求一个普通数据服务器一样:

Mongodb 分片

搭建配置服务器

首先我们需要搭建配置服务器,配置服务器如同分片的大脑,保留着集群和数据的描述信息.

因为Mongodb3.4版本后需要配置服务器必需配置为副本集,所以需要给配置服务器配置副本集,如果你还清楚如何搭建副本集,你可以试着看看我的上一篇文章《Mongodb 副本集》.

首先建立三个空的数据库目录,用于搭建配置服务器的副本集,并分别启动它们,在启动的时候必要加上我们副本集的名称和--configsvr来表示这是一个配置服务器,并分别指定不同的端口.

Mongodb 分片

然后通过mongo随意进入一个副本集成员,并为设置装备摆设服务器的副本集进行设置装备摆设:

$ mongo --port 27020 --host localhost

Mongodb 分片

至此我们的设置装备摆设服务器设置装备摆设完成.

搭建分片服务器

官方建议我们的分片服务区至少在3个或以上能力发挥出更好的性能,我们这里也创建三个分片服务器.

因为分片服务器没有强制要求必需是副本集,所以下面就创建了三个单机分片服务器,但是Mongodb接受分片服务器为副本集.

下面创建三个空数据库目录,然后启动它们,在启动的时候必要加上--shardsvr以表示这是一个分片服务器:

Mongodb 分片

至此我们的分片服务器也搭建完成.

搭建路由服务器

mongodb提供了一个路由工具,它会随着我们下载包一起下载,名字为mongos或mongos.exe,通过它配置路由功能.启动路由我们必要加上参数--configdb,它的语法为:

--configdb 设置装备摆设服务器副本集名称/设置装备摆设服务器1地址端口,设置装备摆设服务器1地址端口...

启动路由,并为路由指定一个端口,用于开放给客户端链接:

$ mongos --configdb conServer/localhost:27020,localhost:27021,localhost:27022 --port 27040

至此路由已经搭建完成.

设置装备摆设分片

设置装备摆设分片服务器

通过mongodb提供的mongo进入到路由服务器中进行配置,把我们开始创建的三个分片服务器通过sh.addShard()办法添加进行,这个办法接受一个字符串里面的格式为host:port.

Mongodb 分片

如果你可以通过rs.status()办法中返回的shards字段看是否添加成功.

设置装备摆设片键

到目前为止,分片服务器已经搭建完成,但是目前分片服务器无法正常工作,我们所有的操作都将在随机的一个主分片上操作,这是因为分片服务器不知道怎么进行分片,所以我们还需要配置片键来告诉分片服务器依照什么来分片.

分片是基于数据库集合中的文档的一个键进行分片的,好比选择username键,那么会根据这个键的顺序就行分片,而mongodb会自动平衡分片的数据.

Mongodb要求作为片键的键必需是索引过的,所以我们在建立片键之前需要对键进行索引,建立后片键就是集合中的最重要的索引.

在生产情况中建议先想好数据建构建立索引和片键后开始操作数据,这样会减轻分片服务器的负载.

首先我们在需要进行分片的数据库上开启分片功能,通过sh.enableSharding办法开启.

Mongodb 分片

然后在开启分片的数据库中的test集合插入测试数据,注意此时我们还没有进行配置片键,所以所有的数据操作都在分片服务器随机分派的一个主分片上面进行的.

Mongodb 分片

这时候以username为片键,通过sh.shardCollection办法进行建立,它的语法为:

sh.shardCollection(namespace,key,unique,options)

首先给我们要树立的片键树立索引:

> db.test.ensureIndex({'username': 1});

然后树立片键:

> sh.shardCollection('test.test',{username:1});

等待几分钟后,可以通过sh.status办法查看数据分片的情况了,可以从中很清楚的看见哪些数据在哪个分片服务器上面,并且通过explain办法来查看我们查询的过程中哪些分片服务器参与了查询.

文章摘自博客园

更多干货保举:

IT教育专业培训:http://www.ujiuye.com/

IT职业在线教育:http://xue.ujiuye.com/

0元进修web前端集训营:http://www.ujiuye.com/zt/webqianduan/?wt.bd=lsh11tt

《Mongodb 分片》是否对您有启发,欢迎查看更多与《Mongodb 分片》相关教程,学精学透。编程之家PHP学院为您提供精彩教程。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


文章浏览阅读552次。com.mongodb.MongoQueryException: Query failed with error code 292 and error message 'Executor error during find command :: caused by :: Sort exceeded memory limit of 104857600 bytes, but did not opt in to external sorting.' on server 11.51.141.63:27017 _mongodb 大文件 下载失败
文章浏览阅读635次,点赞9次,收藏8次。MongoDB 是一种 NoSQL 数据库,它将每个数据存储为一个文档,这里的文档类似于 JSON/BSON 对象,具体数据结构由键值(key/value)对组成。
文章浏览阅读2.1k次。和。_mongodb 日期类型
文章浏览阅读1.7k次。Scalestack等客户期待使用MongoDB Atlas Vector Search和Amazon Bedrock构建下一代应用程序
文章浏览阅读970次。SpringBoot整合中间件mongodb、ES_springboot3 elasticsearch json数据
文章浏览阅读673次。MongoDB 简介_尚医通sql
文章浏览阅读1k次,点赞8次,收藏9次。官网下载MongoDB安装包后进行解压(因了解并不深入,故暂不进行详细说明,自行查找其他安装方法,后期了解深入后将进行该教程的完善)在bin目录下使用命令启动:./mongod --config …/mongodb.conf。该文章任然处于完善中,如果存在错误遗漏的地方,欢迎私信联系。安装相关的nuget包后即可通过以下方法连接数据。YX9010_0@的第二十篇文章。
文章浏览阅读1.2k次,点赞17次,收藏26次。社交场景, 使用 MongoDB 存储存储用户信息, 以及用户发表的朋友圈信息, 通过地理位置索引实现附近的人, 地点等功能.游戏场景, 使用 MongoDB 存储游戏用户信息, 用户的装备, 积分等直接以内嵌文档的形式存储, 方便查询, 高效率存储和访问.物流场景, 使用 MongoDB 存储订单信息, 订单状态在运送过程中会不断更新, 以 MongoDB 内嵌数组的形式来存储, 一次查询就能将订单所有的变更读取出来.物联网场景, 使用 MongoDB 存储所有接入的智能设备信息, 以及设备汇报的日
文章浏览阅读686次。您可以使用 update_one() 方法来更新 MongoDB 中调用的记录或文档。update_one() 方法的第一个参数是 query 对象,用于定义要更新的文档。注释:如果查询找到多个记录,则仅更新第一个匹配项。第二个参数是定义文档新值的对象。_python 更新 mongodb 数据
文章浏览阅读1.3k次。首先来学习一下nosql这里安装就不进行介绍 只记录一下让自己了解mongodb。_nosql注入
文章浏览阅读4.1k次,点赞8次,收藏7次。在data的目录下,创建一个db文件。因为启动MongoDB服务之前必须创建数据库文件的存放文件夹,否则命令不会自动创建,而且不能启动成功。第一步:安装时,Custom是指可以自定义安装路径,然后傻瓜式安装即可(注意:先不要安装图形化工具,否则安装时间会特别长):如果要想连接成功,必须要开服务,即mongod -dbpath C:MongoDBdatadb的cmd要一直开着。然后回车,ctrl+F输入port找到端口号,一般为:27017。打开命令行,然后找到bin文件地址,并输入。_mongodb windows安装
文章浏览阅读5.1k次,点赞3次,收藏43次。详细介绍MongoDB数据库的基本知识,安装方法,基本操作,_mongodb数据库
文章浏览阅读3.2k次。安装教程翻看以往文章。_navicat 连接mongodb
文章浏览阅读426次,点赞9次,收藏12次。win10开放端口:https://blog.csdn.net/m0_43605481/article/details/119255256。我的是阿里云服务器,所以直接在安全组中加入规则,端口范围:27017,授权对象:0.0.0.0。windows在mongodb安装文件夹的bin文件夹中的mongod.cfg。数据库名字是test,打算创建一个用户,账号aaa,密码bbb,权限readWrite。因为该用户是创建在test数据库的,所以在最后要加上test。O了,然后恢复了test的数据。
文章浏览阅读1.1k次。聚合操作主要用于处理数据并返回计算结果。聚合操作将来自多个文档的值组合在一起,按条件分组后,再进行一系列操作(如求和、平均值、最大值、最小值)以返回单个结果。MongoDB的聚合查询​聚合是MongoDB的高级查询语言,它允许我们通过转化合并由多个文档的数据来生成新的在单个文档里不存在的文档信息。MongoDB中聚合(aggregate)主要用于处理数据(例如分组统计平均值、求和、最大值等),并返回计算后的数据结果,有点类似sql语句中的count(*)、groupby。..._如何将几个db的数据统整在一起做查询
文章浏览阅读680次,点赞7次,收藏8次。(2)application.properties配置文件。(4)UserService类。(5)测试和测试结果。
文章浏览阅读1k次,点赞17次,收藏25次。Studio 3T 2023.9 (macOS, Linux, Windows) - MongoDB 的专业 GUI、IDE 和 客户端,支持自然语言查询_mongodb客户端
文章浏览阅读1.1k次,点赞32次,收藏27次。插件式的存储引擎架构可以实现 Server 层和存储引擎层的解耦,可以支持多种存储引擎,如 MySQL 既可以支持 B-Tree 结构的 InnoDB 存储引擎,还可以支持 LSM 结构的 RocksDB 存储引擎。MongoDB 中的记录就是一个 BSON 文档,它是由键值对组成的数据结构,类似于 JSON 对象,是 MongoDB 中的基本数据单元。的简称,是 JSON 文档的二进制表示,支持将文档和数组嵌入到其他文档和数组中,还包含允许表示不属于 JSON 规范的数据类型的扩展。
文章浏览阅读5.1k次,点赞6次,收藏96次。本文设计了一种基于智能室内温度控制的自动调速风扇。以STM32系列单片机为核心主控板,通过程序代码驱动和使用温度传感器模块实现对环境温度的实时监测,并可以实时显示环境温度。同时,可以设置温度检测的上下警告值,根据需求自行调节。_stm32 温控风扇
文章浏览阅读898次,点赞13次,收藏21次。在MongoDB中,我们使用find()和find_one()方法来在集合中查找数据,就像在MySQL数据库中使用SELECT语句来在表中查找数据一样。_pymongo find_one