如何解决Kafka Connect Standalone无法设置max.requests.size
我以独立模式运行Kafka connect,并且开始收到org.apache.kafka.common.errors.RecordTooLargeException
并显示以下消息:
序列化时,消息为1259203字节,大于1048576,这是最大请求大小配置的值。
我似乎无法弄清楚如何增加此属性并使它保持不变。我通过谷歌搜索找到了许多解决方案,但似乎无济于事:
-
Setting it in connect-standalone.properties
: producer.max.request.size = 16777216 -
Setting it in producer.properties
:max.request.size = 16777216
完成所有这些操作后,我会这样做:
confluent local destroy
confluent local start
confluent local log connect
我总是在日志中看到这一点:
ost:9092 (org.apache.kafka.connect.util.TopicAdmin:230)
[2020-09-18 13:36:32,744] INFO ProducerConfig values:
acks = all
batch.size = 16384
bootstrap.servers = [localhost:9092]
buffer.memory = 33554432
client.dns.lookup = default
client.id =
compression.type = none
connections.max.idle.ms = 540000
delivery.timeout.ms = 2147483647
enable.idempotence = false
interceptor.classes = []
key.serializer = class org.apache.kafka.common.serialization.StringSerializer
linger.ms = 0
max.block.ms = 60000
max.in.flight.requests.per.connection = 1
max.request.size = 1048576
注意: max.request.size = 1048576
我在这里想念什么?
编辑: 我注意到的一件事是,当我开始融合时,我看到了这一点:
使用CONFLUENT_CURRENT:/var/folders/nh/12t_10dn2nn5tq4yy25mcyp0p04b98/T/confluent.lfzm3fZY
如果我去那里,转到connect文件夹下,然后查看connect.properties。我的requests.max.size根本不在那儿。应该是吗?如何填充?
运行融合本地启动确实似乎不是在选择独立连接属性。有没有办法指出这一点?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。