如何解决针对嵌套Delta结构使用ADF数据流派生列变换
我正在尝试在ADF(第2代)数据流中使用派生的列转换,在该数据流中,我提取了带有嵌套结构的Delta表。我正在努力弄平这些结构所需的语法,尽管我能够预览数据,但没有显示列信息。
这样的结构应该是:
{
"ContactId":"1002657","Name":{
"FirstName":"Donna","FullName":"Donna Brittain","LastName":"Brittain"
}
}
数据预览正常运行: Data Preview
我的Delta表的结构: Delta Table Struct
我正在尝试引用嵌套列的错误: Derived Column Task
我如何引用诸如Name.FirstName之类的嵌套列以将其展平为FirstName,为什么它在任何映射中都没有显示?
解决方法
有一种平整嵌套结构的简单方法。首先,我们可以在ADF中使用Copy活动,它将自动平整嵌套的列。
将数据复制到诸如Data Lake的Azure存储中(在这里我使用了Azure Data Lake Storage Gen 2),然后我们可以将其用作Data Flow中的数据源。
- 我们可以在数据湖中创建带有标题的txt或csv文件。
- 然后我们可以在ADF中定义一个Copy活动并设置映射。
- 运行调试后,我们可以看到结果。我们可以将其用作数据流中的数据源。
更新:
在接收器中,我们可以如下设置Max rows per file
选项的值:
ADF将文件分成几个文件
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。