如何解决更改或更新DataFrame Spark中的嵌套数据
我在spark中有一个非常奇怪的要求,其中我必须转换数据帧中存在的数据。 因此,我从s3存储桶中读取数据并将其转换为数据帧。一切都很好,下一步就是挑战所在。 读取数据后,需要对作为Json数据的数据进行转换,以使所有数据保持一致。
我拥有的样本数据
{"name": "John","age": 24,"object_data": {"tax_details":""}}
{"name": "nash","age": 26,"object_data": {"tax_details": {"Tax": "None"} } }
问题是在第一个文档中tax_details字段是字符串,而第二个文档中有一个对象。我想确定的是,每当我把它作为对象时,如果可以通过数据框操作来完成,那将是很好的。否则,任何指向它的指针都会很棒。 寻找任何帮助
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。