如何解决使用pyspark将文件写入HDFS
df.write.mode('overwrite').option('header','false').csv('hdfs://<hostname>:8000/stage/files/example.csv')
这样做,我正在尝试使用pyspark代码将csv文件写入HDFS。但是它以目录格式而不是文件格式存储。 另外,如果我使用pyspark进行任何hdfs操作,也可以通过编程方式将所有文件存储为以下目录格式。
drwxr-xr-x - adm supergroup 0 2020-09-24 07:44 hdfs://<hostname>:8000/stage/files/example.csv
例如,我有一个模型文件,我需要在其中保存模型文件,例如 model.write()。overwrite()。save(hdfspath +“ filename.model”),但这也以目录格式而不是简单文件格式存储。
我做错什么了吗?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。