如何解决如何使Kafka Connect均衡地平衡任务/连接器?
我试图运行具有5个工作人员和2个接收器连接器的Kafka Connect分布式集群。一个连接器配置了最大任务,实际任务设置为5。另一个连接器配置了6个任务。
如果我对事情的理解正确,那应该意味着需要分配给工人的13个“工作单元”(1个连接器+ 5个任务+ 1个连接器+ 6个任务)。我认为这意味着每个工人大约需要2-3个任务/连接器。
但是,我发现最终的分配如下:
Worker 0: (3 Work Units)
- Connector 0
- Connector 1 Task 0
- Connector 1 Task 1
Worker 1: ( 4 Work units)
- Connector 1
- Connector 0 Task 0
- Connector 0 Task 2
- Connector 1 Task 3
Worker 2: (2 Work units)
- Connector 0 Task 3
- Connector 0 Task 4
Worker 3: (4 Work units)
- Connector 0 Task 1
- Connector 1 Task 2
- Connector 1 Task 4
- Connector 1 Task 5
Worker 4: ( 0 Work Units)
我正在使用运行2.6.0的Kafka Connect worker和针对2.6.0库构建的连接器。员工被作为业务流程系统中的容器部署(Nomad),并经历了几轮的滚动重启/重新分配,但总的来说似乎不平衡。
基于此,我在以下方面感到茫然:
- 我认为重新启动或移动容器时任务可能会变得有些不平衡,但是我希望一旦最后一个出现并加入集群,最终的平衡就可以解决问题。有人可以指出为什么这种情况可能不会发生吗?
- 是否有建议的方法来触发整个集群的重新平衡?从文档看来,更改连接器的配置或工作人员失败/加入可能会导致重新平衡,但这似乎不是理想的过程。
- 可以始终配置或控制任务平衡过程吗?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。