linux – 传输15TB的小文件

发布时间:2020-01-06 发布网站:脚本之家
脚本之家收集整理的这篇文章主要介绍了linux – 传输15TB的小文件脚本之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。
我正在将数据从一台服务器归档到另一台服务器.最初我开始了rsync工作.它花了2周的时间来构建仅5 TB数据的文件列表,并在另一周内传输1 TB的数据.

然后我不得不杀死这份工作,因为我们需要在新服务器上停机一段时间.

我们已经同意将它们放在一边,因为我们可能不需要再次访问它.我想把它分成500 GB的块.在我开始焦油之后,我将通过ssh复制它.我使用焦油和猪,但它仍然太慢.

有没有更好的方法呢?我认为两台服务器都在Redhat上.旧服务器是Ext4,新服务器是XFS.

文件大小从几kb到几mb,在5TB中有2400万jpeg.所以我猜测15TB大约有600-8000万.

编辑:玩rsync,nc,tar,mbuffer和pigz几天后.瓶颈将是磁盘IO.由于数据是在500个SAS磁盘和大约2.5亿个jpeg上划分的.但是,现在我了解了将来可以使用的所有这些好工具.

解决方法

我使用tar,pigz(并行gzip)和nc获得了非常好的结果.

源机器:

tar -cf - -C /path/of/small/files . | pigz | nc -l 9876

目的地机器:

提取:

nc source_machine_ip 9876 | pigz -d | tar -xf - -C /put/stuff/here

保存档案:

nc source_machine_ip 9876 > smallstuff.tar.gz

如果你想在pigz -d之后看到传输速率只是穿过pv!

总结

以上是脚本之家为你收集整理的linux – 传输15TB的小文件全部内容,希望文章能够帮你解决linux – 传输15TB的小文件所遇到的程序开发问题。

如果觉得脚本之家网站内容还不错,欢迎将脚本之家网站推荐给程序员好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您喜欢交流学习经验,点击链接加入脚本之家官方QQ群:1065694478
脚本之家官方公众号

微信公众号搜索 “ 程序精选 ” ,选择关注!

微信公众号搜索 “ 程序精选 ”
精选程序员所需精品干货内容!