如何解决Kafka Connect S3接收器多个分区
我对kafka connect S3接收器连接器有多个疑问
1。我想知道是否可以使用kafka的S3接收器来保存具有多个分区的记录?
例如,我有此json记录:
{
"DateA":"UNIXTIMEA","DateB":"UNIXTIMEB","Data":"Some Data"
}
(所有字段均为顶层)
是否可以通过以下路径将数据保存在S3中:
s3:// sometopic / UNIXTIMEA / UNIXTIMEB
2。我可以转换UNIXTIMEA / UNIXTIMEB吗 更改为可读的日期格式,而不更改记录值本身? (出于可读性原因)
3。我可以在S3路径中为UNIXTIMEA添加前缀吗? 例如:
s3://DateA=UNIXTIMEA/DateB=UNIXTIMEB/...
我刚开始阅读文档,然后慢慢了解了一切, 仍然我还没有真正找到这些问题的直接答案。
我基本上想在我的配置中执行所有这些操作,但是我怀疑我可以 没有自定义分区程序,我想尽快确认。
预先感谢
C.potato
解决方法
FieldPartioner确实具有字段名称列表
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。