MongoDB 备份与还原 mongodump、mongorestore

分类：MongoDB作者：编程之家用户

目录

MongoDB 备份与还原

一、 MongoDB 备份

MongoDB 备份的几种方式：

1、mongodump

​ mongodump 是 MongoDB 官方提供的备份工具，它可以从 MongoDB 数据库读取数据，并生成 BSON 文件，mongodump 适合用于备份和恢复数据量较小的 MongoDB 数据库，不适用于大数据量备份。

​ 默认情况下 mongodump 不获取 local 数据库里面的内容。

​ mongodump 仅备份数据库中的文档，不备份索引，所以我们还原后，需要重新生成索引。

​ mongodump 备份过程中会对 mongod 服务的性能产生影响，我们建议在业务低峰期进行操作。如果我们备份的数据，大于系统内存，我们备份的时候容易出现错误。

在执行 mongodump 的时候，mongod 服务还是可以提供服务的，可以进行修改数据，如果我们在备份的时候加上参数 --oplog 的话，那么 oplog 是会记录这一次操作的，如果我们想在 restore 的时候也有日志记录，我们可以使用 mongorestore --oplogReplay 进行恢复

1.1、mongodump常用命令和参数

官方文档：mongodump

mongodump 默认输出的目录名为 dump,如果输出路径包含 dump 目录，会直接覆盖的。 默认备份是没有压缩的。

参数：

--host <hostname><:port>,-h <hostname><:port>  # 指定备份的主机ip和端口号，默认值localhost:27017
--port # 指定端口号 默认27017

--username <username>,-u <username> # 指定用户名
--password <password>,-p <password> # 指定密码
--authenticationDatabase <dbname> # 指定认证的数据库
--authenticationMechanism <name> # 指定认证的算法 ，默认值 SCRAM-SHA-1
--db <database>,-d <database> # 指定备份的数据库，未指定的话，备份所有的数据库，但不包含local库
--collection <collection>,-c <collection> # 指定备份的集合，未指定则备份指定库中的所有集合。
--query <json>,-q <json>  # 指定 json 作为查询条件。来备份我们过滤后的数据。
--queryFile <path>  # 指定 json 文档路径，以该文档的内容作为查询条件，来备份我们过滤后的数据。
--quit # 通过抑制 MongoDB的复制，连接等活动，来实现备份。
--gzip  # 开启压缩，3.2版本后可以使用，输出为文件的话会带有后缀.gz
--out <path>,-o <path>  # 输出的目录路径

--repir # 修复数据时使用 下面有详细介绍
--oplog # mongodump 会将 mongodump 执行期间的 oplog 日志 输出到文件 oplog.bson，这就意味着从备份开始到备份结束的数据操作我们都可以记录下来。
--archive <file> # 输出到单个存档文件或者是直接输出。


--dumpDbUsersAndRoles # 只有在 使用 --db 时才适用，备份数据库的包含的用户和角色。
--excludeCollection string # 排除指定的集合，如果要排除多个，使用多个--excludeCollection 
--numParallelCollections int,-j int # 并行导出的集合数，默认为4


--ssl  # 指定 TLS/SSL 协议
--sslCAFile filename # 指定认证文件名
--sslPEMKeyFile <filename>
--sslPEMKeyPassword <value>
--sslCRLFile <filename>
--sslAllowInvalidCertificates
--sslAllowInvalidHostnames
--sslFIPSMode

示例：

  1. 排除指定的集合

    mongodump  --db test --excludeCollection=users --excludeCollection=salaries

  2. 指定ip,端口，用户名，认证，压缩，输出目录

    mongodump --host mongodb1.example.net --port 37017 --username user --password "pass" --gzip --out /opt/backup/mongodump-2019-04-17

1.2 、注意

当我们的删除一个集合的数据，这个集合有10000条数据，那么在 Oplog 里面也是会有 10000条删除记录。

这样的操作就会导致 Oplog 里面的之前的操作记录会被快速覆盖。

所以我们在备份的时候，需要注意 备份的间隔时间 和 Oplog 记录被覆盖的时间(也就是 Oplog 记录了多长时间的日志 )。要后者大于前者。

示例：

​ 我们的备份计划是，每天备份一次数据，Oplog 记录的保持时间要大于1天。

Oplog 的开启是需要开启副本集才能开启的，所以以上备份策略是针对副本集。

2 、cp 或者rsync

​ 我们可以直接复制数据文件，但是我们必须在复制文件前停止对 MongoDB 的操作，否则我们复制的文件是无效的。

3、单节点意外关闭后，如何恢复数据

注意以下操作是针对单节点。

在意外关闭节点后，我们进行重新节点，发现有如下的日志错误：

2018-10-24T18:05:18.248-0400 W STORAGE  [initandlisten] Detected unclean shutdown - mongod.lock is not empty.

...

2018-10-24T17:24:53.122-0400 E STORAGE  [initandlisten] Failed to get the cursor for uri: table:collection-2-6854866147293273505
2018-10-24T17:24:53.122-0400 E STORAGE  [initandlisten] This may be due to missing data files. ...

...

***aborting after fassert() failure

并且在 数据储存路径中有一个 mongod.lock 文件。

我们可以使用 mongod --repair 来恢复数据。

在MongoDB中4.0.3，对 WiredTiger 引擎，使用该命令会进行以下操作

  • 重建所有索引
  • 丢弃损坏的数据
  • 为残缺的元数据创建存根文件。

对于MMAPv1 引擎

  • 重建所有索引
  • 丢弃损坏的数据

数据恢复流程：

  1. 先备份现有的数据

    我们可以用 cp 命令将现有的数据的整个目录的所有文件都备份一份。

  2. 使用 mongod --repair

    # 针对 所有数据库
mongod --repair 
# 针对 单个数据库
mongod --dbpath /opt/mongodb/data/djx  --repair

一般情况下，你不应该手动删除该mongod.lock文件。而是，使用上述过程来恢复数据库。在严峻的情况下，您可以删除文件，使用可能损坏的文件启动数据库，并尝试从数据库中恢复数据，但这存在风险。

4、查看备份数据

我们部分的数据都是二进制的，我们直接查看是查看不到的，那么我们可以通过工具 bsondump(安装 MongoDB 自带了) 来进行查看。

[root@djx uu_dev]# bsondump  order_detail.bson
2019-04-17T16:14:51.430+0800	549 objects found
{"_id":{"$oid":"5cae98d0f23d932dscdfc2ff"}}
{"_id":{"$oid":"5cae98d0f23d932dscdfca00"}}
{"_id":{"$oid":"5cae98d1f23d932dscdfca31"}}
{"_id":{"$oid":"5cae98d1f23d932dscdfca32"}}

二、MongoDB 还原

1、mongorestore特点

  • mongorestore 可以创建新的数据库或将数据添加到现有的数据库，但是 mongorestore 仅仅执行insert 操作，不执行 update操作。这就意味着如果将文档还原到现有的数据库，现有的数据库中的文档的_id的值和要还原的文档中的_id 值是一样的，是不会将数据库原有的值覆盖的。
  • 重建索引，mongorestore 会重建索引。
  • mongorestore 不恢复 system.profile 的数据

2、mongorestore 常用参数

--help # 查看帮助
--quiet # 通过抑制 MongoDB的复制，连接等活动，来实现数据恢复。

--host <hostname><:port>,-h <hostname><:port>  # 指定恢复的主机ip和端口号，默认值localhost:27017
--port # 指定端口号 默认27017

--username <username>,-p <password> # 指定密码
--authenticationDatabase <dbname> # 指定认证的数据库
--authenticationMechanism <name> # 指定认证的算法 ，默认值 SCRAM-SHA-1
--objcheck # 开启验证，验证还原操作，确保没有无效的文档插入数据库。会有较小的性能影响
--oplogReplay # 恢复备份数据并将 mongodump 执行期间的操作(记录在导出的日志)恢复。
--oplogLimit  # 指定恢复
--oplogFile # 指定 Oplog 路径
--keepIndexVersion # 阻止mongorestore在还原过程中将索引升级到最新版本。
--restoreDbUsersAndRoles # 还原指定的数据库用户和角色。
--maintainInsertionOrder # 默认值为False,如果为 True,mongorestore 将按照输入源的文档顺序插入，否则是 随机执行插入。
--numParallelCollections int,-j int # 指定并行恢复的集合数。
--numInsertionWorkersPerCollection int # 默认值为 1，指定每个集合恢复的并发数，大数据量导入增加该值可提高 恢复速度。
--gzip # 从压缩文档中 恢复。
--archive # 从归档文件中恢复。
--dir # 指定还原数据储存目录。

3、还原示例

mongorestore --collection people --db accounts dump/
mongorestore --host mongodb1.example.net --port 37017 --username user --password "pass" /opt/backup/mongodump-2011-10-24
mongorestore --gzip --archive=test.20150715.gz --db test
mongorestore --archive=test.20150715.archive --db test

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

相关推荐

mongodb-gridfs下载文件报Sort exceeded memory limit of 104857600 bytes异常
文章浏览阅读552次。com.mongodb.MongoQueryException: Query failed with error code 292 and error message 'Executor error during find command :: caused by :: Sort exceeded memory limit of 104857600 bytes, but did not opt in to external sorting.' on server 11.51.141.63:27017 _mongodb 大文件 下载失败
数据库_mongoDB
文章浏览阅读635次，点赞9次，收藏8次。MongoDB 是一种 NoSQL 数据库，它将每个数据存储为一个文档，这里的文档类似于 JSON/BSON 对象，具体数据结构由键值（key/value）对组成。
MongoDB的日期类型
文章浏览阅读2.1k次。和。_mongodb 日期类型
MongoDB Atlas Vector Search与Amazon Bedrock集成，推动在AWS上构建下一代应用程序
文章浏览阅读1.7k次。Scalestack等客户期待使用MongoDB Atlas Vector Search和Amazon Bedrock构建下一代应用程序
SpringBoot--中间件技术-3：整合mongodb，整合ElasticSearch，附案例含代码(简单易懂)
文章浏览阅读970次。SpringBoot整合中间件mongodb、ES_springboot3 elasticsearch json数据
尚医通 (二十二) --------- MongoDB 简介
文章浏览阅读673次。MongoDB 简介_尚医通sql
Linux中安装MongoDB与使用C#连接Mongo相关经验记录与总结
文章浏览阅读1k次，点赞8次，收藏9次。官网下载MongoDB安装包后进行解压（因了解并不深入，故暂不进行详细说明，自行查找其他安装方法，后期了解深入后将进行该教程的完善）在bin目录下使用命令启动：./mongod --config …/mongodb.conf。该文章任然处于完善中，如果存在错误遗漏的地方，欢迎私信联系。安装相关的nuget包后即可通过以下方法连接数据。YX9010_0@的第二十篇文章。
足够详细的MongoDB教程(1)
文章浏览阅读1.2k次，点赞17次，收藏26次。社交场景, 使用 MongoDB 存储存储用户信息, 以及用户发表的朋友圈信息, 通过地理位置索引实现附近的人, 地点等功能.游戏场景, 使用 MongoDB 存储游戏用户信息, 用户的装备, 积分等直接以内嵌文档的形式存储, 方便查询, 高效率存储和访问.物流场景, 使用 MongoDB 存储订单信息, 订单状态在运送过程中会不断更新, 以 MongoDB 内嵌数组的形式来存储, 一次查询就能将订单所有的变更读取出来.物联网场景, 使用 MongoDB 存储所有接入的智能设备信息, 以及设备汇报的日
【Python语言基础】——Python MongoDB 更新
文章浏览阅读686次。您可以使用 update_one() 方法来更新 MongoDB 中调用的记录或文档。update_one() 方法的第一个参数是 query 对象，用于定义要更新的文档。注释：如果查询找到多个记录，则仅更新第一个匹配项。第二个参数是定义文档新值的对象。_python 更新 mongodb 数据
MONGODB 的基础 NOSQL注入基础
文章浏览阅读1.3k次。首先来学习一下nosql这里安装就不进行介绍 只记录一下让自己了解mongodb。_nosql注入
MongoDB（Windows版）安装
文章浏览阅读4.1k次，点赞8次，收藏7次。在data的目录下，创建一个db文件。因为启动MongoDB服务之前必须创建数据库文件的存放文件夹，否则命令不会自动创建，而且不能启动成功。第一步：安装时，Custom是指可以自定义安装路径，然后傻瓜式安装即可（注意：先不要安装图形化工具，否则安装时间会特别长）：如果要想连接成功，必须要开服务，即mongod -dbpath C:MongoDBdatadb的cmd要一直开着。然后回车，ctrl+F输入port找到端口号，一般为：27017。打开命令行，然后找到bin文件地址，并输入。_mongodb windows安装
【数据库】MongoDB数据库详解
文章浏览阅读5.1k次，点赞3次，收藏43次。详细介绍MongoDB数据库的基本知识，安装方法，基本操作，_mongodb数据库
navicat 连接远程mongodb数据库
文章浏览阅读3.2k次。安装教程翻看以往文章。_navicat 连接mongodb
【已解决】mongodb远程连接不上
文章浏览阅读426次，点赞9次，收藏12次。win10开放端口：https://blog.csdn.net/m0_43605481/article/details/119255256。我的是阿里云服务器，所以直接在安全组中加入规则，端口范围：27017，授权对象：0.0.0.0。windows在mongodb安装文件夹的bin文件夹中的mongod.cfg。数据库名字是test，打算创建一个用户，账号aaa，密码bbb，权限readWrite。因为该用户是创建在test数据库的，所以在最后要加上test。O了，然后恢复了test的数据。
【详细教程】一文参透 MongoDB 聚合查询
文章浏览阅读1.1k次。聚合操作主要用于处理数据并返回计算结果。聚合操作将来自多个文档的值组合在一起，按条件分组后，再进行一系列操作（如求和、平均值、最大值、最小值）以返回单个结果。MongoDB的聚合查询​聚合是MongoDB的高级查询语言，它允许我们通过转化合并由多个文档的数据来生成新的在单个文档里不存在的文档信息。MongoDB中聚合(aggregate)主要用于处理数据（例如分组统计平均值、求和、最大值等），并返回计算后的数据结果，有点类似sql语句中的count(*)、groupby。..._如何将几个db的数据统整在一起做查询
springboot mongodb简单教程
文章浏览阅读680次，点赞7次，收藏8次。（2）application.properties配置文件。（4）UserService类。（5）测试和测试结果。
Studio 3T 2023.9 发布 - MongoDB 的专业 GUI、IDE 和 客户端，支持自然语言查询
文章浏览阅读1k次，点赞17次，收藏25次。Studio 3T 2023.9 (macOS, Linux, Windows) - MongoDB 的专业 GUI、IDE 和 客户端，支持自然语言查询_mongodb客户端
探寻MongoDB的世界：面试前必知的关键要点与深度洞察
文章浏览阅读1.1k次，点赞32次，收藏27次。插件式的存储引擎架构可以实现 Server 层和存储引擎层的解耦，可以支持多种存储引擎，如 MySQL 既可以支持 B-Tree 结构的 InnoDB 存储引擎，还可以支持 LSM 结构的 RocksDB 存储引擎。MongoDB 中的记录就是一个 BSON 文档，它是由键值对组成的数据结构，类似于 JSON 对象，是 MongoDB 中的基本数据单元。的简称，是 JSON 文档的二进制表示，支持将文档和数组嵌入到其他文档和数组中，还包含允许表示不属于 JSON 规范的数据类型的扩展。
基于STM32的多功能温控风扇设计
文章浏览阅读5.1k次，点赞6次，收藏96次。本文设计了一种基于智能室内温度控制的自动调速风扇。以STM32系列单片机为核心主控板，通过程序代码驱动和使用温度传感器模块实现对环境温度的实时监测，并可以实时显示环境温度。同时，可以设置温度检测的上下警告值，根据需求自行调节。_stm32 温控风扇
深入了解 Python MongoDB 查询：find 和 find_one 方法完全解析
文章浏览阅读898次，点赞13次，收藏21次。在MongoDB中，我们使用find()和find_one()方法来在集合中查找数据，就像在MySQL数据库中使用SELECT语句来在表中查找数据一样。_pymongo find_one
pythonJavaScriptjavaHTMLPHPreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-boot