如何解决在KTable的插入/更新中重新处理丰富的kstream数据
这是一个假设的场景,但与我使用Kafka Streams试图实现的场景类似。
我有流数据,销售,我想通过不经常更改的查找数据(例如用户和项目)来丰富我打算为其创建KTable的数据。我计划将这些丰富的数据推送到一个主题,并使用连接接收器搜索引擎。
如何确保用户/项目数据中的更新也触发过去销售数据的充实,而不仅仅是触发流中提取的新数据。据我了解,KTable插入/更新不会触发对流中过去数据的任何重新处理。
我认为这可能是一个常见的用例,至少我可能不是第一个有这种需求的人。有解决方案或解决方法的指南吗?
解决方法
如果要更新旧数据,则意味着您要执行表-表联接。不过请注意,在这种情况下,两个输入的所有数据都需要保留在应用程序上。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。