如何解决是否提供了根据Azure映射数据流中连续性对中断序列进行分组的规定
我想使用Azure ADF映射数据流根据连续性对中断序列进行分组。
以下是blob文件示例:
如上所示,有一个主键列和一个包含中断序列的列,我想创建第三列(期望的输出)来对序列进行分组。
因为1,2,3是第一个序列,所以它的值为1,而9,10,11,12是下一个序列,它的值为2,依此类推。
解决方法
使用Windows转换将当前行与预览行进行比较。然后,如果有间隔,即当前序列-前一个序列>1。使用第二窗口变换来增加计数器的数量。
如果将名为source1的Source添加到新的数据流,则可以使用“脚本”按钮粘贴此代码以在后面显示脚本。添加一个换行符,最后按Enter键,然后复制/粘贴:
source1 derive(dummy = 1) ~> CreateDummyValue
CreateDummyValue window(over(dummy),asc(year,true),startRowOffset: -1L,endRowOffset: 0L,year2 = first(year)) ~> AddPreviousValue
AddPreviousValue window(over(dummy),column1 = sum(iif(abs(year-year2)<=1,1))) ~> CompareAndBucket
我正在使用我自己的电影数据中的列名,因此将列名替换为您的数据列。对您来说,电影应替换为“序列”,并且“预期输出”是我的“ Column1”。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。