如何解决将数据从Hadoop复制到外部磁盘的最佳方法是什么?
我必须将大约80TB的数据从Hadoop移动到Azure。我从Azure获得了10个数据磁盘,可以一次连接到一个网关节点。
将天蓝色磁盘连接到网关节点机器后,我运行以下命令:-
hdfs dfs -get /path/to/hdfs/dir /azuredisk1/
这使我的下载速度达到了约70 MB / s
有更好的方法吗?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。