如何解决使用Logstash JDBC和Cassandra删除同步操作
我们已经配置了JDBC logstash,以便将数据从Cassandra迁移到logstash。 我们已经能够将数据从Cassandra移至logstash,我们还可以基于document_id在弹性搜索中更新数据,但是我们无法删除在Cassandra中删除的记录。
我们正在寻找基于在Cassandra中删除而在弹性搜索中删除记录的配置? 最终,我们需要使用logstash JDBC同步两个数据库。
Our Configuration:
# emp_id -- Primary Key in Cassandra
input {
jdbc {
jdbc_connection_string => "jdbc:cassandra://X.X.X.X:9042/cloud"
jdbc_user => "cassandra"
jdbc_password => "cassandra"
jdbc_driver_library => "/usr/share/logstash/logstash-core/lib/jars/CassandraJDBC42.jar"
jdbc_validate_connection => true
jdbc_driver_class => "com.simba.cassandra.jdbc42.Driver"
statement => "SELECT * FROM cloud.employee_list"
schedule => "* * * * *"
use_column_value => true
tracking_column => "emp_id"
}
}
output {
elasticsearch {
hosts => ["localhost:9200"]
document_id=> "%{emp_id}"
index => "employeelist_table2"
}
stdout { codec => rubydebug }
}
麋鹿版本-7.9.2, Java 8 卡桑德拉-3.11.6
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。