如何解决长时间处理的 Kafka 流应用程序中的无休止重新平衡
我在 Kubernetes 上有一个 Kafka 流(版本 2.6)应用程序,处理时间很长(最多可能需要 2 分钟)。当我部署我的 pod 并且应用程序有很大的优势时,消费者不会停止重新平衡。 当我只部署一个 pod(有 40 个消费者)时,它会停止重新平衡。当我使用 2.1 版运行它时,它也会停止重新平衡(多个 pod)。
我将 group.initial.rebalance.delay.ms 更改为 4 分钟,并将 SESSION_TIMEOUT_MS_CONFIG 增加到 180000,将 HEARTBEAT_INTERVAL_MS_CONFIG 增加到 50000,这解决了初始重新平衡(如果我没有消费者没有组,然后我开始一些pods 与应用程序)但我在横向扩展或向内(添加或删除 pods)时仍然遇到问题 当我将 MAX_POLL_INTERVAL_MS_CONFIG 更改为 max.int (我知道这是不好的做法,我只想测试这个理论)它没有解决任何问题(当我删除 SESSION_TIMEOUT_MS_CONFIG 和 HEARTBEAT_INTERVAL_MS_CONFIG 时,初始重新平衡不起作用)。 我的 MAX_POLL_RECORDS_CONFIG 是 10,所以我不想再减少它了。
我还需要在配置中更改什么吗?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。