如何解决在DynamicFrame中按多列分组
我有一个dynamicFrame,像这样-
my_claim: com.amazonaws.services.glue.DynamicFrame
这是其中数据的示例-
{"dsy": 1000000,"org": 1023049,"provider": 2271,"claim": 1,"dt": 20190128,"pmt": 12.1}
{"dsy": 1000000,"claim": 2,"dt": 20190111,"pmt": 8.1}
按行的前三个元素分组的最优化/最快方法是什么。例如,这是我期望上面两行的输出-
{"dsy": 1000000,"pmt": 20.2}
我期望得到此输出,因为我想对dsy
,org
和provider
进行分组(如果比较快,可以使用reduceByKey)。然后获取MAX(claimno)
,MAX(dt)
和SUM(pmt)
。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。