如何解决fetch.max.message.bytes和max.message.bytes Kafka配置
我还是Kafka的新手,我不确定为什么要为最大消息大小设置使用者和生产者参数。拥有两个参数似乎会引起开发人员可能忽略的错误(即将fetch.max.message.bytes
设置为低于max.message.bytes
)。我必须缺少一个用例或设计模式,这促使Kafka团队保留这两个配置值。
解决方法
因此fetch.max.message.bytes不存在(至少在最新的Kafka版本中,所以您使用的是什么?),我想您是指fetch.max.bytes。 无论如何,fetch.max.bytes和max.message.bytes位于代理(不是生产者/消费者)上。 max.message.bytes定义了使用者可以获取的每批消息的最大大小(您知道消息是按批次分组的)。 fetch.max.bytes定义了一个最大数量限制,该数量限制了消费者可以一次从经纪人处获得多少批次;这不是一个硬性限制,因为如果有更多可用的批次,则经纪人会返还其中的一部分,直到达到最大数量,以避免消费者卡住。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。