微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

NiFi-合并分页API返回的数据

如何解决NiFi-合并分页API返回的数据

我有一个API,可一次返回200条记录。如果我有600条记录,则需要启动API 3次,以获取具有偏移量的所有记录。这是我获取分页数据的设计:

Configuration for getting paginated data

我的问题是,如何将所有600条记录合并为数组并进一步处理。 (注意:我将实时处理约10万条记录)。我尝试使用MergeContent,但所有记录均未合并。请帮助我。

解决方法

尝试对具有较高阈值的MergeRecordMergeContent进行“ bin”设置。他们将等到有足够的数据或发生用户指定的超时后再向下游发送他们拥有的数据。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。