如何解决遍历Glue数据框中的单个对象或对象数组
当前,我的脚本遍历传入的单个JSON对象,如下所示:
//data comes in as { "a":"ABC":,"b":"123X" }
glueContext.forEachBatch(data_frame_datasource0,(dataFrame: Dataset[Row],batchId: Long) =>
{
//do stuff on DynamicRecords -- this works
}
但是现在数据将以以下两种形式之一输入:{ "a":"ABC":,"b":"123X" }
或[{ "a":"ABC":,"b":"123X" },{ "a":"DEF":,"b":"X456X" },{ "a":"JKL":,"b":"789" }]
我需要遍历传入的两种数据。
我环顾四周,以找到如何执行“胶水/火花”方式的方法,但没有发现任何东西。
任何帮助表示赞赏。
谢谢
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。