如何解决Kafka连接以仅读取已提交的消息
我们有一个kafka主题,可读取来自事务性生产者的消息。我们希望将kafka connect使用者设置为仅读取已提交的消息。
由于我刚接触Kafka,因此在此设置方面我需要专家的帮助。根据我的初步研究,我了解我需要在kafka属性中设置隔离。level = read_committed。
现在我有以下问题
- 这是我要引用的正确属性吗?
- 设置此设置后,我如何测试我的Kafka连接器仅读取已提交的邮件?
- 通过命令行我可以看到什么是(LSO)上一个稳定偏移量?
我们在/ confluent / bin文件夹中放置了kafka shell脚本。我的理解是我需要通过调用这些Shell脚本来执行命令。
请让我知道是否需要更多信息。
任何帮助将不胜感激。谢谢!!!
解决方法
Is this the correct property that I am referring?
-是
How can I test after setting this up my Kafka connector is reading only committed messages?
-您可以简单地用Java编写一个kafka生产者,该生产者通过两个不同的事务(T1中的m1和T2中的m2)发布两个消息。中止事务T1并提交事务T2。在您的已提交读入连接器中,您应该只会看到m2,而不会看到m1。
Through command line can I see what is the (LSO) Last Stable Offsetid?
-如果稳定地表示您上次读取的提交偏移量,我认为是不可能的。您可以按照此处的说明获取最后的偏移量:Number of commits and offset in each partition of a kafka topic
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。