如何解决基于kerberos的hdfs上传出现了问题
我连接到群集以通过Python上传文件。它以大约36 MB的文件成功。但是,当我上传的文件夹超过100GB时,失败了。
任何建议。
解决方法
50070是NameNode上HTTP(无SSL)上的WebHDFS的默认端口。因此,即使您不了解它是什么,我都认为您笨拙的Python连接器使用WebHDFS。
对于上传,NameNode会收到HTTP POST
请求,但会立即重定向(即 HTTP 307 代码)到其DataNode之一。
理想情况下,您的HTTP客户端会尝试创建一个空文件,然后捕获重定向,然后在适当的目标上启动实际的上传。
看起来您笨拙的Python连接器无法做到这一点。它尝试将整个文件上载到NN(忽略数据),然后发现它必须重定向,然后再次将整个文件上载到正确的服务器。
如果您要传递某种代理或负载平衡器,则在第一次上载尝试时,您的连接可能会崩溃(我发现这种情况发生时只有400KB)。
解决方案:找到适合HDFS的Python连接器;或自行修复当前使用的笨拙连接器的源代码。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。