Mongodb 删除集合数据后如何释放磁盘空间

分类：MongoDB作者：Ethanchen's notes

删除集合

在Mongodb当集合数据占用比较多，对其进行清理后，集合存储空间下降，但磁盘空间并没释放，对于具有活动更新的集合来说，有一些可重用的空间是正常的。过多的可重用空间通常是删除大量数据的结果。

如果您有许多大量集合需要压缩（或者想要尽可能的释放磁盘空间），请重新同步副本集的次要成员

如果compact最终没有释放足够的空间， 通过初始同步将通过复制另一个成员的数据来重建所有数据文件。

compact 如果您确实决定在生产环境中运行，可以考虑将通过以下方式最大限度地减少影响：

  • 副本集部署（理想情况下至少三个数据承载成员，没有仲裁者）
  • compact 一次在一台辅助设备上运行操作。
  • 配置 secondary 为 hidden 在操作期间，竞争流量将是基本复制。
  • 重新分配主节点。
  • 压缩旧的主数据库。

集合数据如下：

local_rs1:PRIMARY> db.version()
4.4.15

# Primary 
local_rs1:PRIMARY> db.myCompact.count()
500000

local_rs1:PRIMARY> db.runCommand( { collStats: "myCompact" } ).totalSize
20520960

# 11747328 + 8773632 = 20520960
root@ubuntu-x64_01:/data/mongodb/data/test# ls -tl | grep 3518756157035530607 
-rw------- 1 mongodb mongodb 11747328 11月 17 10:53 collection-8--3518756157035530607.wt
-rw------- 1 mongodb mongodb  8773632 11月 17 10:53 index-9--3518756157035530607.wt

# -------------------------------------

# SECONDARY 1
local_rs1:SECONDARY> db.myCompact.count()
500000

local_rs1:SECONDARY> db.runCommand( { collStats: "myCompact" } ).totalSize
20492288

# 11661312 + 8830976 = 20492288
root@ubuntu-x64_01:/data/mongodb27018/data/test# ls -lt | grep 7679634562768091767
-rw------- 1 mongodb mongodb 11661312 11月 17 10:53 collection-8-7679634562768091767.wt
-rw------- 1 mongodb mongodb  8830976 11月 17 10:53 index-9-7679634562768091767.wt

# -------------------------------------

# SECONDARY 2 
local_rs1:SECONDARY> db.myCompact.count()
500000

local_rs1:SECONDARY> db.runCommand( { collStats: "myCompact" } ).totalSize
20533248

# 11702272 + 8830976 = 20533248
root@ubuntu-x64_01:/data/mongodb27019/data/test# ls -lt | grep 265063963681791421
-rw------- 1 mongodb mongodb 11702272 11月 17 10:53 collection-8-265063963681791421.wt
-rw------- 1 mongodb mongodb  8830976 11月 17 10:53 index-9-265063963681791421.wt

删除集合所有数据，执行 db.collection.deleteMany() 方法。 Compact 操作阻塞行为是特定于版本的。

版本 阻止行为
4.4 之前 compact 阻止所有读写活动。
4.4 compact 阻止这些操作：
db.collection.drop()
db.collection.createIndex()
db.collection.createIndexes()
db.collection.dropIndex()
db.collection.dropIndexes()
collMod
所有其他操作都是允许的。
4.4.17后 compact 阻止这些操作：
db.collection.drop()
db.collection.createIndex()
db.collection.createIndexes()
db.collection.dropIndex()
db.collection.dropIndexes()
collMod
所有其他操作都是允许的。
锁定顺序发生变化。

compact 尝试减少集合中数据和索引所需的存储空间，向操作系统释放不需要的磁盘空间。此操作的有效性取决于工作负载，并且无法恢复任何磁盘空间。如果您已从集合中删除大量数据并且不打算替换它，则此命令非常有用。

测试删除 60% （300000/500000）集合数据，如下：

# PRIMARY 
local_rs1:PRIMARY> db.myCompact.find().limit(2)
{ "_id" : ObjectId("6556d1a2ff3d41b00910281b"),"uid" : 0,"username" : "compact0","create_at" : ISODate("2023-11-17T02:36:18.883Z") }
{ "_id" : ObjectId("6556d1a2ff3d41b00910281c"),"uid" : 1,"username" : "compact1","create_at" : ISODate("2023-11-17T02:36:18.894Z") }

local_rs1:PRIMARY> db.myCompact.deleteMany({ "uid" : { $lt: 300000 } })
{ "acknowledged" : true,"deletedCount" : 300000 }

local_rs1:PRIMARY> db.myCompact.count()
200000

以上清理数据后，磁盘空间和集合存储大小并没有减小。 如下

# PRIMARY 
local_rs1:PRIMARY> db.myCompact.count()
200000

local_rs1:PRIMARY> db.runCommand( { collStats: "myCompact" } ).totalSize
28233728

root@ubuntu-x64_01:/data/mongodb/data/test# ls -tl | grep 3518756157035530607 
-rw------- 1 mongodb mongodb 15519744 11月 17 11:47 collection-8--3518756157035530607.wt
-rw------- 1 mongodb mongodb 12713984 11月 17 11:47 index-9--3518756157035530607.wt

# ----------------------------

# SECONDARY 1 
local_rs1:SECONDARY> db.myCompact.count()
200000

local_rs1:SECONDARY> db.runCommand( { collStats: "myCompact" } ).totalSize
30523392

root@ubuntu-x64_01:/data/mongodb27018/data/test# ls -lt | grep 7679634562768091767
-rw------- 1 mongodb mongodb 16674816 11月 17 13:09 collection-8-7679634562768091767.wt
-rw------- 1 mongodb mongodb 13848576 11月 17 13:09 index-9-7679634562768091767.wt


# ----------------------------

# SECONDARY 2
local_rs1:SECONDARY> db.myCompact.count()
200000

local_rs1:SECONDARY>  db.runCommand( { collStats: "myCompact" } ).totalSize
20516864

root@ubuntu-x64_01:/data/mongodb27019/data/test# ls -tl | grep 265063963681791421
-rw------- 1 mongodb mongodb 11702272 11月 17 13:14 collection-8-265063963681791421.wt
-rw------- 1 mongodb mongodb  8814592 11月 17 13:14 index-9-265063963681791421.wt

Compact 集合

对于副本集， 您可以在存储副本集中的集合和索引上使用 compact ，但是有一些重要的注意事项：

  • 主节点不会将compact命令复制到辅助节点。

  • 您应该尽可能在辅助节点上运行compact。如果您无法在辅助节点上运行compact，请使用 force 选项。

  • 从 MongoDB 4.4.17 开始：

    • compact 运行时辅助节点可以进行复制。

    • 允许读取。

压缩辅助节点。compact 在辅助节点之一上运行。完成后 compact ，依次在剩余的每个辅助节点上重复该操作。

# SECONDARY 1 
local_rs1:SECONDARY> db.myCompact.count()
200000

local_rs1:SECONDARY> db.runCommand( { collStats: "myCompact" } ).totalSize
30523392

# 释放空间 23064576 = 22 MB 左右
local_rs1:SECONDARY> db.runCommand( { compact: "myCompact" } )
{
        "bytesFreed" : 23064576,"ok" : 1,"$clusterTime" : {
                "clusterTime" : Timestamp(1700198786,1),"signature" : {
                        "hash" : BinData(0,"o2RnaYFH8J1pgLaIx2T+iLCkPdY="),"keyId" : NumberLong("7236938018798436354")
                }
        },"operationTime" : Timestamp(1700198786,1)
}

local_rs1:SECONDARY> db.runCommand( { collStats: "myCompact" } ).totalSize
7458816

# 4382720 + 3076096 = 7458816
root@ubuntu-x64_01:/data/mongodb27018/data/test# ls -lt | grep 7679634562768091767
-rw------- 1 mongodb mongodb  4382720 11月 17 13:26 collection-8-7679634562768091767.wt
-rw------- 1 mongodb mongodb  3076096 11月 17 13:26 index-9-7679634562768091767.wt

重新分配主节点。要让当前的初选下台并触发选举，请使用该 rs.stepDown()方法。要提名特定辅助节点，请调整成员优先级。

local_rs1:PRIMARY> rs.status()
{
        "set" : "local_rs1","date" : ISODate("2023-11-17T05:41:07.931Z"),........
        "members" : [
                {
                        "_id" : 1,"name" : "192.168.88.11:27018","health" : 1,"state" : 2,"stateStr" : "SECONDARY",......
                },{
                        "_id" : 3,"name" : "192.168.88.11:27017","state" : 1,"stateStr" : "PRIMARY",{
                        "_id" : 4,"name" : "192.168.88.11:27019",......
                }
        ],"$clusterTime" : {
                "clusterTime" : Timestamp(1700199666,"a5utef8Cjsp20W8DWtvzsmMn9Wo="),"operationTime" : Timestamp(1700199666,1)
}


local_rs1:PRIMARY> rs.stepDown()
{
        "ok" : 1,"$clusterTime" : {
                "clusterTime" : Timestamp(1700199726,"qpsh46gaM9GKg8RMV799tA/o8uw="),"operationTime" : Timestamp(1700199726,1)
}

压缩旧的主数据库。下台后，旧的主节点将成为辅助节点。compact 在旧主节点上运行。

local_rs1:SECONDARY> db.myCompact.count()
200000

local_rs1:SECONDARY> db.runCommand( { collStats: "myCompact" } ).totalSize
28233728

local_rs1:SECONDARY> db.runCommand( { compact: "myCompact" } )
{
        "bytesFreed" : 18976768,"$clusterTime" : {
                "clusterTime" : Timestamp(1700199986,"D1zMSrcV9n2Deh/2u1Edw4s2pDk="),"operationTime" : Timestamp(1700199986,1)
}

local_rs1:SECONDARY> db.runCommand( { collStats: "myCompact" } ).totalSize
9256960

root@ubuntu-x64_01:/data/mongodb/data/test# ls -tl  | grep 3518756157035530607
-rw------- 1 mongodb mongodb  5341184 11月 17 13:46 collection-8--3518756157035530607.wt
-rw------- 1 mongodb mongodb  3915776 11月 17 13:46 index-9--3518756157035530607.wt

分片集群

对于分片集群 ，compact 仅适用于mongod实例。在分片环境中，运行 compact 分别在每个分片上作为维护操作。

注意： 你不能针对一个mongos实例 发出 compact

原文地址：https://blog.csdn.net/qq_33158376/article/details/134443937

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

相关推荐

mongodb-gridfs下载文件报Sort exceeded memory limit of 104857600 bytes异常
文章浏览阅读552次。com.mongodb.MongoQueryException: Query failed with error code 292 and error message 'Executor error during find command :: caused by :: Sort exceeded memory limit of 104857600 bytes, but did not opt in to external sorting.' on server 11.51.141.63:27017 _mongodb 大文件 下载失败
数据库_mongoDB
文章浏览阅读635次，点赞9次，收藏8次。MongoDB 是一种 NoSQL 数据库，它将每个数据存储为一个文档，这里的文档类似于 JSON/BSON 对象，具体数据结构由键值（key/value）对组成。
MongoDB的日期类型
文章浏览阅读2.1k次。和。_mongodb 日期类型
MongoDB Atlas Vector Search与Amazon Bedrock集成，推动在AWS上构建下一代应用程序
文章浏览阅读1.7k次。Scalestack等客户期待使用MongoDB Atlas Vector Search和Amazon Bedrock构建下一代应用程序
SpringBoot--中间件技术-3：整合mongodb，整合ElasticSearch，附案例含代码(简单易懂)
文章浏览阅读970次。SpringBoot整合中间件mongodb、ES_springboot3 elasticsearch json数据
尚医通 (二十二) --------- MongoDB 简介
文章浏览阅读673次。MongoDB 简介_尚医通sql
Linux中安装MongoDB与使用C#连接Mongo相关经验记录与总结
文章浏览阅读1k次，点赞8次，收藏9次。官网下载MongoDB安装包后进行解压（因了解并不深入，故暂不进行详细说明，自行查找其他安装方法，后期了解深入后将进行该教程的完善）在bin目录下使用命令启动：./mongod --config …/mongodb.conf。该文章任然处于完善中，如果存在错误遗漏的地方，欢迎私信联系。安装相关的nuget包后即可通过以下方法连接数据。YX9010_0@的第二十篇文章。
足够详细的MongoDB教程(1)
文章浏览阅读1.2k次，点赞17次，收藏26次。社交场景, 使用 MongoDB 存储存储用户信息, 以及用户发表的朋友圈信息, 通过地理位置索引实现附近的人, 地点等功能.游戏场景, 使用 MongoDB 存储游戏用户信息, 用户的装备, 积分等直接以内嵌文档的形式存储, 方便查询, 高效率存储和访问.物流场景, 使用 MongoDB 存储订单信息, 订单状态在运送过程中会不断更新, 以 MongoDB 内嵌数组的形式来存储, 一次查询就能将订单所有的变更读取出来.物联网场景, 使用 MongoDB 存储所有接入的智能设备信息, 以及设备汇报的日
【Python语言基础】——Python MongoDB 更新
文章浏览阅读686次。您可以使用 update_one() 方法来更新 MongoDB 中调用的记录或文档。update_one() 方法的第一个参数是 query 对象，用于定义要更新的文档。注释：如果查询找到多个记录，则仅更新第一个匹配项。第二个参数是定义文档新值的对象。_python 更新 mongodb 数据
MONGODB 的基础 NOSQL注入基础
文章浏览阅读1.3k次。首先来学习一下nosql这里安装就不进行介绍 只记录一下让自己了解mongodb。_nosql注入
MongoDB（Windows版）安装
文章浏览阅读4.1k次，点赞8次，收藏7次。在data的目录下，创建一个db文件。因为启动MongoDB服务之前必须创建数据库文件的存放文件夹，否则命令不会自动创建，而且不能启动成功。第一步：安装时，Custom是指可以自定义安装路径，然后傻瓜式安装即可（注意：先不要安装图形化工具，否则安装时间会特别长）：如果要想连接成功，必须要开服务，即mongod -dbpath C:MongoDBdatadb的cmd要一直开着。然后回车，ctrl+F输入port找到端口号，一般为：27017。打开命令行，然后找到bin文件地址，并输入。_mongodb windows安装
【数据库】MongoDB数据库详解
文章浏览阅读5.1k次，点赞3次，收藏43次。详细介绍MongoDB数据库的基本知识，安装方法，基本操作，_mongodb数据库
navicat 连接远程mongodb数据库
文章浏览阅读3.2k次。安装教程翻看以往文章。_navicat 连接mongodb
【已解决】mongodb远程连接不上
文章浏览阅读426次，点赞9次，收藏12次。win10开放端口：https://blog.csdn.net/m0_43605481/article/details/119255256。我的是阿里云服务器，所以直接在安全组中加入规则，端口范围：27017，授权对象：0.0.0.0。windows在mongodb安装文件夹的bin文件夹中的mongod.cfg。数据库名字是test，打算创建一个用户，账号aaa，密码bbb，权限readWrite。因为该用户是创建在test数据库的，所以在最后要加上test。O了，然后恢复了test的数据。
【详细教程】一文参透 MongoDB 聚合查询
文章浏览阅读1.1k次。聚合操作主要用于处理数据并返回计算结果。聚合操作将来自多个文档的值组合在一起，按条件分组后，再进行一系列操作（如求和、平均值、最大值、最小值）以返回单个结果。MongoDB的聚合查询​聚合是MongoDB的高级查询语言，它允许我们通过转化合并由多个文档的数据来生成新的在单个文档里不存在的文档信息。MongoDB中聚合(aggregate)主要用于处理数据（例如分组统计平均值、求和、最大值等），并返回计算后的数据结果，有点类似sql语句中的count(*)、groupby。..._如何将几个db的数据统整在一起做查询
springboot mongodb简单教程
文章浏览阅读680次，点赞7次，收藏8次。（2）application.properties配置文件。（4）UserService类。（5）测试和测试结果。
Studio 3T 2023.9 发布 - MongoDB 的专业 GUI、IDE 和 客户端，支持自然语言查询
文章浏览阅读1k次，点赞17次，收藏25次。Studio 3T 2023.9 (macOS, Linux, Windows) - MongoDB 的专业 GUI、IDE 和 客户端，支持自然语言查询_mongodb客户端
探寻MongoDB的世界：面试前必知的关键要点与深度洞察
文章浏览阅读1.1k次，点赞32次，收藏27次。插件式的存储引擎架构可以实现 Server 层和存储引擎层的解耦，可以支持多种存储引擎，如 MySQL 既可以支持 B-Tree 结构的 InnoDB 存储引擎，还可以支持 LSM 结构的 RocksDB 存储引擎。MongoDB 中的记录就是一个 BSON 文档，它是由键值对组成的数据结构，类似于 JSON 对象，是 MongoDB 中的基本数据单元。的简称，是 JSON 文档的二进制表示，支持将文档和数组嵌入到其他文档和数组中，还包含允许表示不属于 JSON 规范的数据类型的扩展。
基于STM32的多功能温控风扇设计
文章浏览阅读5.1k次，点赞6次，收藏96次。本文设计了一种基于智能室内温度控制的自动调速风扇。以STM32系列单片机为核心主控板，通过程序代码驱动和使用温度传感器模块实现对环境温度的实时监测，并可以实时显示环境温度。同时，可以设置温度检测的上下警告值，根据需求自行调节。_stm32 温控风扇
深入了解 Python MongoDB 查询：find 和 find_one 方法完全解析
文章浏览阅读898次，点赞13次，收藏21次。在MongoDB中，我们使用find()和find_one()方法来在集合中查找数据，就像在MySQL数据库中使用SELECT语句来在表中查找数据一样。_pymongo find_one
pythonJavaScriptjavaHTMLPHPreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-boot