MongoDB-副本集搭建与管理

MongoDB 副本集

一、副本集概念

单节点的 MongoDB 在数据的安全和冗余方面是比较低的,在生产环境中,我们为 MongoDB 配置副本集,这样可以提高数据的高可用性和安全性。

副本集 :是一组 Mongod 维护相同数据集的实例。副本集可以包含多个数据承载点和多个仲裁点。在承载数据的节点中,仅有一个节点被视为主节点,其他节点称为次节点。

副本集的节点角色:

  • Primary 主节点,用于承担
  • Secondary 次节点
  • Arbiter 仲裁节点,也是属于次节点

主节点接收所有的数据写入操作,主节点记录数据的所有更改,即oplog

副本集架构图

  • 一个 主节点 两个次节点(Secondary )

读写主数据库的默认路由图。

  • 一个主节点两个次节点(一个Secondary 节点,一个Arbiter 节点)

由ä¸"要副本,辅助副本和ä"²è£è€…ç"„成的副本集的图表。

将一个额外的mongod实例添加到副本集作为 仲裁节点。仲裁节点不维护数据集。仲裁节点的目的是通过响应其他副本集成员的心跳和选举请求来维护副本集中的选举。因为它们不存储数据集,所以仲裁节点可以是提供副本集仲裁功能的好方法,其资源成本比具有数据集的全功能副本集成员更低。如果您的副本集具有偶数个成员,请添加仲裁者以避免脑裂出现。

  • 主节点故障后重新选举主节点

新ä¸"要选举的图。 在具有两个辅助副本的三个成员副本集中,ä¸"è¦å˜å¾—æ— æ³•è®¿é—®ã€‚ 失åŽ"一个ä¸"要触发选举,其中一个辅助成为新的ä¸"要

在主节点未与配置中的其它成员通信超过 10s(默认为10s)的话,则符合条件的次节点将推选自己为主节点。

在选举成功完成之前,副本集无法处理写入操作。

electionTimeoutMillis 默认值为10000(10s) ,我们可以根据自己的项目情况来升高或者降低该值,我们在更改该值的时候需要考虑到网络延迟等因素。

默认情况下,副本集在选取新的主节点的等待时间不超过12秒(主要用于将原有主节点标记为不可用,并选举出新的主节点),

副本集数据同步

为了保持次节点与主节点的数据同步,MongoDB 使用两种方式进行数据的同步:

  • 初始同步, 用于同步主节点的所有数据

    初始同步将所有的数据从副本集的一个成员复制到另外一个成员

  • 增量同步,在初始同步后不断复制新的数据

    在初始同步后不断复制数据,次节点从主节点中同步复制 Oplog,并在异步过程中应用这些操作

Oplog 详解

MongoDB-Oplog详解

注意

副本集在部署前需要确定成员数据,副本集最多能有50个节点,但是只能有7个节点拥有被选举权,副本集需要具有奇数个投票成员,如果有偶数个的话,可以添加一个 仲裁者,来保证有奇数个成员,避免脑裂情况发生,

尽量使用 主机名 来寻找对应的节点,而不是使用 ip 地址,避免 ip 改变导致配置需要更改。

二、副本集部署

部署准备

部署需要更改 /etc/hosts 文件,将主机名和 ip 地址对应好,不应该使用ip。
使用统一的端口。
创建数据储存的位置和配置文件的位置。
确定好副本集的名称

搭建架构选择

  • 三节点,一个主节点,一个次节点,一个仲裁节点

    由ä¸"要副本,辅助副本和ä"²è£è€…ç"„成的副本集的图表。

副本集部署

基本环境:
	系统 CentOS  7
	MongoDB 版本 4.0.8

3个节点
fymongodb001 内网IP:172.18.186.161  公网ip: 47.112.129.2  # 主节点
fymongodb002 内网IP: 172.18.186.162  公网ip: 47.112.131.231 # 次节点
fymongodb003 内网IP: 172.18.186.163  公网ip: 47.112.98.64 # 仲裁节点

副本集名称: fymongodb

三个节点都需要执行

# 下载mongodb 
cat <<EOF >>/etc/hosts
172.18.186.161  fymongodb001
172.18.186.162  fymongodb002
172.18.186.163  fymongodb003
EOF
cd /tmp && wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-4.0.8.tgz
tar -zxf mongodb-linux-x86_64-4.0.8.tgz  
mv  mongodb-linux-x86_64-4.0.8  /opt/mongodb
mkdir  /opt/mongodb/{data,logs}
useradd  mongodb
# 我们这里使用的配置文件 是YAML 格式的
wget  https://raw.githubusercontent.com/tobewithyou1996/LinuxGuide/master/MongoDB/mongodb_rep.yaml -P /opt/mongodb/
chown -R mongodb:mongodb /opt/mongodb/
cat <<EOF >>/usr/lib/systemd/system/mongodb.service
[Unit]
Description= mongodb service manager
[Service]
# Other directives omitted
# (file size)
LimitFSIZE=infinity
# (cpu time)
LimitCPU=infinity
# (virtual memory size)
LimitAS=infinity
# (locked-in-memory size)
LimitMEMLOCK=infinity
# (open files)
LimitNOFILE=64000
# (processes/threads)
LimitNPROC=64000
Type=forking
User=mongodb
Group=mongodb
PIDFile=/opt/mongodb/logs/mongod.pid
ExecStart= /opt/mongodb/bin/mongod -f /opt/mongodb/mongodb_rep.yaml
ExecStop= /opt/mongodb/bin/mongod --shutdown   --dbpath /opt/mongodb/data
Restart=always
[Install]
WantedBy=multi-user.target
EOF
# 添加环境变量
echo "export PATH=$PATH:/opt/mongodb/bin" >>/etc/profile
source /etc/profile
# 启动 
systemctl start  mongodb

主节点操作

# 主节点操作
[root@fymongodb001 tmp]# mongo
MongoDB shell version v4.0.8
connecting to: mongodb://127.0.0.1:27017/?gssapiServiceName=mongodb
Implicit session: session { "id" : UUID("77f60167-1d37-4796-bf2a-60cfdc4b0526") }
MongoDB server version: 4.0.8
> use admin     # 切换到 admin 数据库
switched to db admin  
# 初始化副本集,副本集名称为 fymongodb ,第一个成员为自己本身。
> rs.initiate({_id:'fymongodb',members: [{ _id: 0,host: "fymongodb001:27017"}]}) 
{ "ok" : 1 }  
fymongodb:SECONDARY>   # 接着回车,直到显示这个节点为Primary主节点
fymongodb:PRIMARY>  # 接着添加 次节点 fymongodb002
# 添加次节点
fymongodb:PRIMARY> rs.add('fymongodb002:27017')
{
	"ok" : 1,"operationTime" : Timestamp(1555663440,1),"$clusterTime" : {
		"clusterTime" : Timestamp(1555663440,"signature" : {
			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),"keyId" : NumberLong(0)
		}
	}
}
# 添加仲裁节点
fymongodb:PRIMARY> rs.addArb("fymongodb003:27017")
{
	"ok" : 1,"operationTime" : Timestamp(1555663631,"$clusterTime" : {
		"clusterTime" : Timestamp(1555663631,"keyId" : NumberLong(0)
		}
	}
}
# 查看当前配置
fymongodb:PRIMARY> rs.conf()
{
	"_id" : "fymongodb","version" : 3,"protocolVersion" : NumberLong(1),"writeConcernMajorityJournalDefault" : true,"members" : [
		{
			"_id" : 0,"host" : "fymongodb001:27017","arbiterOnly" : false,"buildIndexes" : true,"hidden" : false,"priority" : 1,"tags" : {
				
			},"slaveDelay" : NumberLong(0),"votes" : 1
		},{
			"_id" : 1,"host" : "fymongodb002:27017",{
			"_id" : 2,"host" : "fymongodb003:27017","arbiterOnly" : true,"priority" : 0,"votes" : 1
		}
	],"settings" : {
		"chainingAllowed" : true,"heartbeatIntervalMillis" : 2000,"heartbeatTimeoutSecs" : 10,"electionTimeoutMillis" : 10000,"catchUpTimeoutMillis" : -1,"catchUpTakeoverDelayMillis" : 30000,"getLastErrorModes" : {
			
		},"getLastErrorDefaults" : {
			"w" : 1,"wtimeout" : 0
		},"replicaSetId" : ObjectId("5cb98534cd9d16ff3f4fffdc")
	}
}
# rs.status()  查看各个节点的身份

当我们完成上面的操作的时,我们主节点更改的数据已经是会自动同步到次节点的。

次节点操作

fymongodb002次节点(Secondary)设置允许读写操作。

[root@fymongodb002 ~]# mongo
MongoDB shell version v4.0.8
connecting to: mongodb://127.0.0.1:27017/?gssapiServiceName=mongodb
Implicit session: session { "id" : UUID("f353edd5-d79a-4947-9844-7f9bde98a949") }
MongoDB server version: 4.0.8
fymongodb:SECONDARY> fymongodb:SECONDARY> show dbs;  # 我们发现无法读写
2019-04-19T17:04:40.852+0800 E QUERY    [js] Error: listDatabases failed:{
	"operationTime" : Timestamp(1555664675,"ok" : 0,"errmsg" : "not master and slaveOk=false","code" : 13435,"codeName" : "NotMasterNoSlaveOk","$clusterTime" : {
		"clusterTime" : Timestamp(1555664675,"keyId" : NumberLong(0)
		}
	}
} :
fymongodb:SECONDARY> rs.slaveOk()  # 允许 次节点 进行读取
fymongodb:SECONDARY> show dbs; # 我们就可以查看到次节点的数据了。
admin   0.000GB
config  0.000GB
djx     0.000GB
local   0.000GB
fymongodb:SECONDARY> use djx;
switched to db djx
fymongodb:SECONDARY> show  collections;  # 从主节点同步过来的数据。
djx
lsp

数据同步测试

测试数据的同步,我们在主节点创建一个集合test 并添加一条数据 'age':38,我们可以看到次节点也同步了该数据。

故障模拟测试

测试一

模拟主节点 fymongodb001 宕机了,然后查看次节点 fymongodb002 是否会被选举成为主节点。

我们可以看到 fymongodb002 选举为主节点.

测试二

fymongodb002 选举为主节点后,fymongodb001 恢复了,fymongodb001 会作为次节点加入。

测试三

测试在次节点(Secondary)进行数据删除。是删除不了的。

fymongodb:SECONDARY> db.test.drop()
2019-04-19T21:48:38.140+0800 E QUERY    [js] Error: drop failed: {
	"operationTime" : Timestamp(1555681711,"errmsg" : "not master","code" : 10107,"codeName" : "NotMaster","$clusterTime" : {
		"clusterTime" : Timestamp(1555681711,"I+dFkOHcdqW+La7xvy8JFij+5CY="),"keyId" : NumberLong("6681517989155569665")
		}
	}
} :
_getErrorWithCode@src/mongo/shell/utils.js:25:13
DBCollection.prototype.drop@src/mongo/shell/collection.js:707:1
@(shell):1:1

配置副本集登录验证

副本集配置用户和密码,登录主节点,添加admin 用户。

> use admin
switched to db admin
> db.createUser({ user: "admin",pwd: "9toc7tpji8",roles: [{ role: "root",db: "admin" }] })
Successfully added user: {
    "user" : "admin","roles" : [
        {
            "role" : "root","db" : "admin"
        }
    ]
}

在主节点生成 keyflie 并复制到其它两个节点

# 生成 keyFile
openssl rand -base64 90 -out /opt/mongodb/keyfile
#并复制到其它两个节点
scp /opt/mongodb/keyfile  fymongodb002:/opt/mongodb/
scp /opt/mongodb/keyfile  fymongodb003:/opt/mongodb/ 

更改三个节点的 keyFile 文件权限和所有者

chmod 600 /opt/mongodb/keyfile  # 一定要更改成 600 权限,否正会报错
chown mongodb:mongodb /opt/mongodb/keyfile # 更改文件所有者

更改三个节点的 mongodb_rep.yaml 配置文件,将 security 的参数 authorization 设置为 enabled,并配置

keyFile 的路径。

security:
   authorization: "enabled" 
   keyFile: '/opt/mongodb/keyfile'
   clusterAuthMode: "keyFile"

然后依次重启 fymongodb001fymongodb002fymongodb003

# fymongodb001
systemctl  restart  mongodb 
# fymongodb002
systemctl  restart  mongodb 
# fymongodb003
systemctl  restart  mongodb 

登陆 fymongodb001,我们使用 db.auth() 进行登陆验证。

fymongodb:PRIMARY> show dbs;
fymongodb:PRIMARY> use admin 
switched to db admin
fymongodb:PRIMARY> db.auth('admin','9toc7tpji8')
1
fymongodb:PRIMARY> show  dbs;
admin   0.000GB
config  0.000GB
local   0.000GB

三 、副本集维护

副本集成员如何以单节点启动

副本集当做单节点启动需要更改配置文件,主要的配置文件有以下几点:

  • 注释副本集名称设置,replSet=fymongodb
  • 更改端口
  • 如果是分片储存的,那么还需要注释分片配置,添加 skipShardingConfigurationChecks = true。

然后我们执行维护完后,关闭节点

use admin
db.shutdownServer()

然后还原原来的配置,然后作为副本集成员加入副本集。

副本集设置节点的优先级

如果我们想让某个节点成为主节点,或者是当主节点 down 了后,你想指定某个节点 优先级更高地成为 次节点。

cfg = rs.conf()
cfg.members[0].priority = 0.5
cfg.members[1].priority = 0.5
cfg.members[2].priority = 1
rs.reconfig(cfg)

副本集使用备份数据进行启动

# 使用备份数据进行启动
mongod --dbpath /data/db 
# 删除 local 数据库
use local
db.dropDatabase()
# 指定副本集名称并以备份数据 启动
mongod --dbpath /data/db --replSet <replName>
# 启动副本集
rs.initiate( {
   _id : <replName>,members: [ { _id : 0,host : <host:port> } ]
})

副本集数据量比较大时如何添加次节点

当副本集的数据量比较大的时候,我们添加新的节点的时候,如果使用初始化同步的话,会给主节点造成比较大的压力。我们有以下选择:

  • 暂停当前副本集中的一个次节点,然后将 次节点的数据(data)复制到要新添加的节点的数据目录。然后再将两个节点启动。(建议先测试)

    如果要复制数据文件,请确保您的副本包含local数据库的内容。

  • 指定同步节点 rs.syncFrom(hostportstr),指定同步节点为次节点,默认的是同步节点 是主节点。

    但是该设置在重新启动节点,或者同步指定的新节点的连接被关闭了,是会失效的。(建议先测试)

  • 如果我们决定还是从主节点进行同步数据。

副本集延迟节点

延迟节点在此未记录,详细见官方文档。

副本集常用命令

# 副本集初始化
rs.initiate( {
   _id : "rs0",members: [
      { _id: 0,host: "mongodb0.example.net:27017" },{ _id: 1,host: "mongodb1.example.net:27017" },{ _id: 2,host: "mongodb2.example.net:27017" }
   ]
})
# 副本集添加成员
rs.add('mongodb3.example.net:27017')
# 副本集添加仲裁节点
rs.addArb('mongodb4.example.net:27017')
# 移除节点
rs.remove('hostportstr')
# 查看当前的配置
rs.conf()
# 查看各个节点状态和身份
rs.status()
# 设定某个节点多少秒不可成为主节点
rs.freeze(secs)
# 设置次节点从指定节点同步数据
rs.syncFrom(hostportstr)
# 降低主节点为次节点,只能在主节点上运行
rs.stepDown([stepdownSecs,catchUpSecs])
# 查看帮助
rs.help()
# 次节点执行,表示允许次节点读取数据
rs.slaveOk()
# 判断当前节点是否是主节点
rs.isMaster()
# 查看 Oplog 信息
rs.printReplicationInfo()
#  查看副本集的次节点与主节点延迟
db.printSlaveReplicationInfo()
# 移除原有副本集命令
use local
db.system.replset.remove({})
# 关闭 mongodb进程服务
use admin
db.shutdownServer()

四、注意事项

建议将副本集至少部署在3个可用区。

配置副本集成员,使用的是主机名而不是 ip,因为 ip 可能变动。

副本集包含奇数个投票成员。

错误问题

报错内容:

Failed global initialization: BadValue: replication.replSetName is not allowed when storage.indexBuildRetry is specified

storage 参数 indexBuildRetry 不能与 副本集共存,当开启 副本集的时候,就需要将indexBuildRetry 参数注释。官网链接

Changed in version 4.0: The setting storage.indexBuildRetry cannot be used in conjunction withreplication.replSetName.

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


文章浏览阅读552次。com.mongodb.MongoQueryException: Query failed with error code 292 and error message 'Executor error during find command :: caused by :: Sort exceeded memory limit of 104857600 bytes, but did not opt in to external sorting.' on server 11.51.141.63:27017 _mongodb 大文件 下载失败
文章浏览阅读635次,点赞9次,收藏8次。MongoDB 是一种 NoSQL 数据库,它将每个数据存储为一个文档,这里的文档类似于 JSON/BSON 对象,具体数据结构由键值(key/value)对组成。
文章浏览阅读2.1k次。和。_mongodb 日期类型
文章浏览阅读1.7k次。Scalestack等客户期待使用MongoDB Atlas Vector Search和Amazon Bedrock构建下一代应用程序
文章浏览阅读970次。SpringBoot整合中间件mongodb、ES_springboot3 elasticsearch json数据
文章浏览阅读673次。MongoDB 简介_尚医通sql
文章浏览阅读1k次,点赞8次,收藏9次。官网下载MongoDB安装包后进行解压(因了解并不深入,故暂不进行详细说明,自行查找其他安装方法,后期了解深入后将进行该教程的完善)在bin目录下使用命令启动:./mongod --config …/mongodb.conf。该文章任然处于完善中,如果存在错误遗漏的地方,欢迎私信联系。安装相关的nuget包后即可通过以下方法连接数据。YX9010_0@的第二十篇文章。
文章浏览阅读1.2k次,点赞17次,收藏26次。社交场景, 使用 MongoDB 存储存储用户信息, 以及用户发表的朋友圈信息, 通过地理位置索引实现附近的人, 地点等功能.游戏场景, 使用 MongoDB 存储游戏用户信息, 用户的装备, 积分等直接以内嵌文档的形式存储, 方便查询, 高效率存储和访问.物流场景, 使用 MongoDB 存储订单信息, 订单状态在运送过程中会不断更新, 以 MongoDB 内嵌数组的形式来存储, 一次查询就能将订单所有的变更读取出来.物联网场景, 使用 MongoDB 存储所有接入的智能设备信息, 以及设备汇报的日
文章浏览阅读686次。您可以使用 update_one() 方法来更新 MongoDB 中调用的记录或文档。update_one() 方法的第一个参数是 query 对象,用于定义要更新的文档。注释:如果查询找到多个记录,则仅更新第一个匹配项。第二个参数是定义文档新值的对象。_python 更新 mongodb 数据
文章浏览阅读1.3k次。首先来学习一下nosql这里安装就不进行介绍 只记录一下让自己了解mongodb。_nosql注入
文章浏览阅读4.1k次,点赞8次,收藏7次。在data的目录下,创建一个db文件。因为启动MongoDB服务之前必须创建数据库文件的存放文件夹,否则命令不会自动创建,而且不能启动成功。第一步:安装时,Custom是指可以自定义安装路径,然后傻瓜式安装即可(注意:先不要安装图形化工具,否则安装时间会特别长):如果要想连接成功,必须要开服务,即mongod -dbpath C:MongoDBdatadb的cmd要一直开着。然后回车,ctrl+F输入port找到端口号,一般为:27017。打开命令行,然后找到bin文件地址,并输入。_mongodb windows安装
文章浏览阅读5.1k次,点赞3次,收藏43次。详细介绍MongoDB数据库的基本知识,安装方法,基本操作,_mongodb数据库
文章浏览阅读3.2k次。安装教程翻看以往文章。_navicat 连接mongodb
文章浏览阅读426次,点赞9次,收藏12次。win10开放端口:https://blog.csdn.net/m0_43605481/article/details/119255256。我的是阿里云服务器,所以直接在安全组中加入规则,端口范围:27017,授权对象:0.0.0.0。windows在mongodb安装文件夹的bin文件夹中的mongod.cfg。数据库名字是test,打算创建一个用户,账号aaa,密码bbb,权限readWrite。因为该用户是创建在test数据库的,所以在最后要加上test。O了,然后恢复了test的数据。
文章浏览阅读1.1k次。聚合操作主要用于处理数据并返回计算结果。聚合操作将来自多个文档的值组合在一起,按条件分组后,再进行一系列操作(如求和、平均值、最大值、最小值)以返回单个结果。MongoDB的聚合查询​聚合是MongoDB的高级查询语言,它允许我们通过转化合并由多个文档的数据来生成新的在单个文档里不存在的文档信息。MongoDB中聚合(aggregate)主要用于处理数据(例如分组统计平均值、求和、最大值等),并返回计算后的数据结果,有点类似sql语句中的count(*)、groupby。..._如何将几个db的数据统整在一起做查询
文章浏览阅读680次,点赞7次,收藏8次。(2)application.properties配置文件。(4)UserService类。(5)测试和测试结果。
文章浏览阅读1k次,点赞17次,收藏25次。Studio 3T 2023.9 (macOS, Linux, Windows) - MongoDB 的专业 GUI、IDE 和 客户端,支持自然语言查询_mongodb客户端
文章浏览阅读1.1k次,点赞32次,收藏27次。插件式的存储引擎架构可以实现 Server 层和存储引擎层的解耦,可以支持多种存储引擎,如 MySQL 既可以支持 B-Tree 结构的 InnoDB 存储引擎,还可以支持 LSM 结构的 RocksDB 存储引擎。MongoDB 中的记录就是一个 BSON 文档,它是由键值对组成的数据结构,类似于 JSON 对象,是 MongoDB 中的基本数据单元。的简称,是 JSON 文档的二进制表示,支持将文档和数组嵌入到其他文档和数组中,还包含允许表示不属于 JSON 规范的数据类型的扩展。
文章浏览阅读5.1k次,点赞6次,收藏96次。本文设计了一种基于智能室内温度控制的自动调速风扇。以STM32系列单片机为核心主控板,通过程序代码驱动和使用温度传感器模块实现对环境温度的实时监测,并可以实时显示环境温度。同时,可以设置温度检测的上下警告值,根据需求自行调节。_stm32 温控风扇
文章浏览阅读898次,点赞13次,收藏21次。在MongoDB中,我们使用find()和find_one()方法来在集合中查找数据,就像在MySQL数据库中使用SELECT语句来在表中查找数据一样。_pymongo find_one