如何解决作业失败时检查重复的Apache Flink
我正在使用Kafka,Flink。 Flink从Kafka读取的我的消息然后执行一些业务逻辑到DB,并将其发送到Third API(例如:邮件,GG Sheet),每条消息都恰好发送一条。一切正常,但是如果Job失败并重新启动(我正在使用检查点),则任何消息中继都会重新发送到Third API。我可以让Redis查看已发送的消息。这样,应该在Redis中检查每条消息,并影响性能。我想知道解决方案不需要使用Redis来检查重复项。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。