如何解决Couchbase 6.5.1 - cbtransfer - 将数据拆分成多个文件
目前,我们的 Couchbase 存储桶中有数千个文档,我们希望将它们导出为 csv(或 json)格式以供进一步使用。
由于文档数量庞大,我们希望将导出的数据拆分为多个文件,而不是单个大文件。
目前我们正在使用 cbtransfer 实用程序,并且 Couchbase 文档提到如果文件超过特定大小,我们可以使用额外的选项来拆分文件“-x cbb_max_mb=size”。
我们使用的命令 -
cbtransfer http://127.0.0.1:8091 csv:./data.csv -b bkt-customer -u 管理员 -p 密码 -x cbb_max_mb=100
这样,文件就被创建了,但并没有像我们预期的那样分成 100 MB 的小块。
谁能指导我们如何实现这一目标?
解决方法
-x
选项是“特殊”选项,不适用于所有后端和前端(备份、CSV、couchstore 等)cbtransfer 支持。 cbb_max_mb
选项仅在写入备份时支持,documentation 提示:
cbb_max_mb=100000 如果超过 MB,则在目标集群上拆分备份文件。
还有其他一些选择:
- 在
cbtransfer
完成后使用 Unix/Linuxsplit
- 如果集群中有多个数据节点,请在
--single-node
上使用cbtransfer
参数。这只会从连接字符串中指定的节点获取数据:
--single-node 从源集群中的单个服务器节点传输。这个单一的服务器节点是一个源节点 URL。
我还建议您查看 cbexport,它会在某个时候取代 cbtransfer
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。