如何解决找到先前的偏移量跳过3行 SpoolDirCsvSourceTask
我正在探索kafka-connect
,使用here的spool-dir
来加载csv文件。我尝试仅加载3条记录,如下所示。
id,first_name,last_name,email,gender,ip_address,last_login,account_balance,country,favorite_color
1,first1,last1,f1.l1@mycompany.com,Female,01.0.01.01,2020-02-11T12:57:43Z,28.43,AB,#345678
2,first2,last2,f2.l2@mycompany.com,02.0.02.02,2020-02-12T15:54:28Z,77.91,CD,#456789
它第一次按预期工作。但是,当我尝试再次运行它时,我看不到该主题的记录。(使用kafka-console-consumer
)。我可以在日志中看到以下内容。
Found previous offset. Skipping 3 line(s). (com.github.jcustenborder.kafka.connect.spooldir.SpoolDirCsvSourceTask:74)
Finished processing 0 record(s) in 0 second(s). (com.github.jcustenborder.kafka.connect.spooldir.AbstractSourceTask:201)
我想问以下问题。
- 是因为主题正在尝试再次消耗前一个偏移量的记录?
- 是因为文件已移动到
finished.path
吗? - 有时我们的批处理程序必须多次运行它。因此,所有数据将被删除并再次加载。在这种情况下,如何处理以上错误?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。