如何解决如何使用kafka-python计算主题中的记录数消息
正如标题中所述,我想在自己的主题中获得大量记录,并且找不到使用kafka-python库的解决方案。 有人知道吗?
解决方法
没有特定的API可以计算主题的记录数。您需要使用并计算从kafka使用者那里收到的记录数。
,一种解决方案是,您可以向所有分区中每个添加一条消息,并获取最后一个偏移量。从偏移量中,您可以计算到现在为止已发送给该主题的消息总数。
但这不是正确的方法。您不知道使用者已经消费了多少消息,kafka删除了多少消息。唯一的方法是您可以使用消息并计算数量。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。