如何解决将Pyspark Dataframe保存到没有标题的csv中
我正在寻找一种无需指定标题即可将数据帧保存到csv文件中的方法。
我尝试了下面的代码,但是没有用。
ratingsDF.coalesce(1).write.option("header","false")\
.csv("csv_file_without_headers.csv")
对于以下数据框:
+---------+-----+
| x| y| z|
+----+----+-----+
| 0| a| 5|
| 1| b| 12|
| 2| c| 7|
| 3| d| 27|
| 4| e| 149|
| 5| f| 19|
+---------+-----+
csv的预期结果:
O,a,5
1,b,12
2,c,7
3,d,27
4,e,149
5,f,19
解决方法
您的选项看上去正确,正在写入的 csv文件将没有标题。
在Spark中,无法写入 file
csv_file_without_headers.csv
,而不能检查csv_file_without_headers.csv
directory。
- 在目录中,您可以看到目录中没有标题的所有文件。
尝试一下,
ratingsDF.coalesce(1).write.csv("/path/to/save/csv/")
默认情况下它将保存csv
不带标题的位置。您不能指定csv
文件名,而只能指定路径。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。