如何解决通过Kafka紧凑主题实现GDPR合规性
我想问您一些关于apache kafka和紧凑主题的问题。我们想提供一些关于Kafka压缩主题的PII数据。我们要通过逻辑删除删除有关此主题的数据。当前有多个问题需要我们验证假设:
- 是否有其他公司通过像KIP-354提出的https://cwiki.apache.org/confluence/display/KAFKA/KIP-354%3A+Add+a+Maximum+Log+Compaction+Lag这样的墓碑生成主题来满足kafka中的gdpr要求(忘记权利)?
- 我们的假设是正确的,仅当记录不在活动段文件中时才触发压缩。因此,从我们的角度来看,需要通过将其添加到kafka文档第4.8点来修改kafka文档:该主题的max.compaction.lag.ms可用于确保消息写入之间的最大延迟。 在此处应添加条件,即我们要压缩的消息不应位于活动段文件中。这是max.compaction.lag.ms功能的错误还是设计上的错误?我们目前不确定。
- 是否仅在插入新消息后才触发压缩?还是还有一个异步过程可以压缩非活动段文件?
感谢您的回答;-)
解决方法
您的观点很准确。
- 压缩的Kafka主题中的消息删除与删除数据库中的行大致相同。发送逻辑删除消息后,不会立即发生这种情况。
- 是的,活动日志段未压缩。如果要加快此特定主题的压缩过程(以满足点1),可以减小最大段大小(segment.bytes,默认为1GB)和最大段MS(segment.ms,默认为604800000 = 1周)到较低的值,例如100MB和1。您应该查看min.cleanable.dirty.ratio并将其设置为更具侵略性的值,再次取决于要求(第1点)。
- 压缩是异步发生的,无论是否在逻辑删除之后发送任何消息都无关紧要。每个Kafka代理,LogCleaner上都有一个组件负责运行。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。