如何解决在两个不同的云之间将Kinesis Stream写入Kafka主题
我有Kinesis流托管在AWS云上,我想将此数据存储到Google云托管的现有Kafka主题中。我不确定连接这两个云并确保数据传输过程中的延迟最小的最有效和安全的方法是什么。
要求:
- 无法更改基础结构或应用程序的部署
- 目的地Kafka主题已有的生产者向该主题提交新消息,因此任何建议覆盖现有主题的解决方案都将无法使用
- 数据安全是重中之重
Option-I 使用Kafka Connect Kinesis源连接器:使用此连接器将Kinesis映射到现有的Kafka主题。
问题:
- 它是否可扩展,网络会成为瓶颈吗?
- 它安全吗?什么是理想的配置?
选项2 使用Kafka Connect和Kafka Mirror Maker:Kafka Connect会将Kinesis流转换为Kafka消息,并转换为Kafka主题。 Kafka MirrorMaker将负责群集(和云)之间的复制。
问题:
- 在现有主题上使用MirrorMaker是否有副作用?
- 与直接使用Kafka Connect相比,使用Kafka MirrorMaker有什么优势吗?
- 与选项2相比,它更安全吗?
选项3 还有其他选择吗?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。