如何解决带有2个分区的Kafka主题“丢失”的消息,并通过密钥发送,而具有1个分区的消息则可以
我正在使用运行在python 3.8上的Kafkapython,并从Confluent部署了基于docker的Kafka集群。生产者和消费者也都嵌入了Docker容器中
当我的主题由一个分区组成时,没有问题:所有已发送的邮件都被推送到主题中(由我自己的计数器验证=控制中心报告的计数器)
但是,当我为此主题配置2个分区,并且流量通过密钥进行负载平衡时,会有一些消息“丢失”。
- 我的已发送计数器显示“ 1900条消息已发送”(与“单个分区”相同)
- 控制中心在该主题中显示大约1800条消息(每个分区中大约50%)
- 已在消费者方确认,已消耗1800条消息
生产者端没有任何异常
由于我刚在卡夫卡(Kafka)崭露头角,因此希望能为调查此问题提供帮助
谢谢。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。