如何解决AWS Kinesis流的春季使用者
当前,我使用的是基于Spring Boot和KCL库的AWS Kinesis Stream,它只有一个分片,只有一个使用者。
现在,我需要扩展我的应用程序并在2个使用者之间分配负载。因此,他们应该属于一个消费者组-避免对同一封邮件进行重复处理。
基于Kinesis文档-我的分片数量应与一个消费者组中的最大消费者数量相同。我又添加了一个碎片。
当我运行第一个使用者时,它将两个分片都锁定在DynamoDB中,而第二个使用者直到我停止第一个使用者时才收到任何消息。
我已经读到我可以尝试将spring.cloud.stream.bindings.<streamName>.consumer.concurrency
属性更改为1
,并且每个使用者只能创建到一个分片的一个连接。我不确定如果一个消费者死亡会面临什么?永远不会从第二个分片使用数据,因为另一个使用方被限制为只有一个连接?
我的配置:
Kinesis stream: events
Number of shards: 2
Consumer#1: spring.cloud.stream.bindings.eventsIn.group=eventsConsumer
spring.cloud.stream.bindings.eventsIn.destination=events
spring.cloud.stream.bindings.eventsIn.content-type=application/json
Consumer#2: spring.cloud.stream.bindings.eventsIn.group=eventsConsumer
spring.cloud.stream.bindings.eventsIn.destination=events
spring.cloud.stream.bindings.eventsIn.content-type=application/json
如何在这两个消费者之间分配负载?如果我不使用基于Kinesis流的任何其他AWS集成,也许是时候从Kinesis迁移到Kafka了?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。