如何解决Elasticsearch + Logstash-接收事件时索引来自不同来源的数据
美好的一天,
在Elasticsearch中为某些数据建立索引时,我有点头疼,并且对好的方法有一些疑问。
到目前为止,已经收到有关Kafka主题的事件,其中只有一部分数据应存储在文档中。收到事件后需要收集其余数据,并且可以从不同的API获得这些数据。为了减少工作量,似乎Logstash可能是一个好方法。
是否有一种方法可以配置Logstash,以便在收到事件时从不同的API和DB启动数据收集,然后将合并后的日期组合到文档中,还是我坚持编写费时的索引自定义逻辑?我进行了一些搜索,但是找不到关于该问题的任何好答案。
解决方法
logstash中需要的是使用来自外部api的数据查找/丰富您的消息,对吗? 您可以使用logstash的http_filter插件
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。