如何解决IIDR CDC以及向Kafka的交易详细信息
我们正在研究POC,以使数据库数据与内部DB2与外部MS-Sql保持同步。我们正在使用QREP复制/ CDC。对于POC,我们现在仅使用简单表。每个表都将消息发送到各自在Kafka中的主题(我们正在接收它)。 除了这些消息之外,我们还需要捕获交易详细信息(DML记录,插入/更新/删除)。
根据上面提到的文档和演示,当我们运行AvroConsole命令时,我们将使用“书签详细信息”获取源提交流信息。
Shawn提到我们可以在属性文件中指定审核设置,例如audit.jcfs = ENTTYP,CCID,TIMSTAMP,但仍有一些疑问
- 可以为所有事务表捕获以下信息,如下所示: 好?如果是,我们在哪里/如何指定设置?
- 交易ID
- 图像/行/值之前/之后
- DML操作(插入/更新/删除)
-
应该将交易详细信息流式传输到单独的主题,还是可以 它们被合并以发送到一个提交流主题。(如图所示 在视频中,从23:30开始)
-
如果我们能够流式传输这些信息,应该使用字符串反序列化器还是kafka反序列化器从Java代码中使用它
很抱歉,所有这些问题,但是我们仍然处于非常基础的阶段,没有太多知识。希望一些专家能提供一些指导。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。