如何解决hadoop-2.7.3 中缺少 Hadoop 原生 libhdfs.dylib
我正在使用 apache 箭头项目(https://arrow.apache.org/docs/python/filesystems.html#hadoop-file-system-hdfs)来读取位于 HDFS 中的镶木地板文件。 Apache arrow 使用 hadoop 本机库文件从 HDFS 读取。 它使用的文件之一是 libhdfs.dylib
OSError: Unable to load libhdfs: dlopen(/Users/sharad.mishra/Library/hadoop/hadoop-2.7.3/lib/native/libhdfs.dylib,6): image not found
我下载了 hadoop 源文件 (https://github.com/apache/hadoop.git) 并构建了它,包括本机。 我使用的 Hadoop 版本是 -> rel/release-2.7.3 我用来构建的命令是
mvn package -Pdist,native -DskipTests -Dtar -Dmaven.javadoc.skip=true
成功构建后,我注意到 libhdfs.dylib 仍然丢失。
→ cd $HADOOP_HOME/lib/native
→ native
→ ls
libhadoop.a libhadoop.so libhadoop.so.1.0.0 libhadooppipes.a libhadooputils.a libhdfs.a libhdfs.so libhdfs.so.0.0.0
这是我用来构建 hadoop 发行版的 dockerfile:
https://github.com/imsharadmishra/hadoop-build/blob/main/centos/Dockerfile
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。