如何解决为大量的卡夫卡消费者提供持续的重新平衡
Confluent Platform版本5.4.2
在Kubernetes中部署了3个Broker设置
在一个主题中，我们有1024个分区，在消费者方面，我们正在执行IO操作，因此我们决定增加特定组的消费者数量
直到832年为止，我们一直没有增加消费者数量，但是除此之外，我们开始通过以下信息消息观察到持续的重新平衡
[2020-08-12 07:08:42,462] INFO [GroupCoordinator 1]: Preparing to rebalance group agent.async.request.consumer in state PreparingRebalance with old generation 87 (__consumer_offsets-4) (reason: removing member agent12.topic.org.agent.async.request.event.56-3b78bb07-2430-401e-9d68-91aded0bda89 on heartbeat expiration) (kafka.coordinator.group.GroupCoordinator)
[2020-08-12 07:08:42,511] INFO [GroupCoordinator 1]: Stabilized group agent.async.request.consumer generation 88 (__consumer_offsets-4) (kafka.coordinator.group.GroupCoordinator)
[2020-08-12 07:08:43,153] INFO [GroupCoordinator 1]: Preparing to rebalance group agent.async.request.consumer in state PreparingRebalance with old generation 88 (__consumer_offsets-4) (reason: Adding new member agent4.topic.org.agent.async.request.event.0-ff4061a4-41e4-4b20-8d47-17f2dcffb073 with group instanceid None) (kafka.coordinator.group.GroupCoordinator)
[2020-08-12 07:08:52,511] INFO [GroupCoordinator 1]: Member agent5.topic.org.agent.async.request.event.12-5a847d59-442e-43ad-a8f3-232ef36575bc in group agent.async.request.consumer has failed,removing it from the group (kafka.coordinator.group.GroupCoordinator)
每次随机不同的消费者成员失败，如经纪人领导者日志中所示，这导致持续的重新平衡。
消费者方面，我们没有发现任何会阻止消费者发送心跳并且系统处于空闲状态的GC问题，我们在轮询超时方面也没有问题
并且消费者分布在多个Kubernetes Pod中，显示我们分配了足够资源的每个Pod
作为一种解决方法，我们在消费者中将Hear.beat.interval设置为6秒，将session.time.out设置为20秒，我们现在没有观察到重新平衡，现在消费者已连接到Kafka
我想了解为什么我们需要在消费者端更改上述参数？同时也可以针对大量消费者调整卡夫卡端的任何设置吗？
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。