如何解决将数组列从PySpark数据帧导出到CSV而不进行格式化
我在pyspark数据框中有一个数组列,但是当我将数据帧写入CSV时,该列已被格式化
数据:
Column_A
2323,2426,6058285,6287,1257
2491,6317206,10271,8264,3763
3121,4106,2759,4115,6058399
1488,7675,6048745,1509,183158
2491,637,8929,7474
当导出为CSV时,会添加一个附加的逗号,换句话说,它将整个数组作为一个单独的列并将其格式化为一个数字,以四舍五入最后一个字符。
这是我正在使用的代码:
df1.coalesce(1).write.save(path='csv_location',header=True,mode='overwrite',format='csv',fmt='%s')
我还应该添加或更改其他内容以确保其正确导出
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。