Logkafka 与其他日志聚合&监控工具的区别 介绍
logkafka是一个日志收集代理,可以按行收集日志文件并发送到kafka 0.8,每行为一条消息。
在生产环境部署之前请查看一下FAQ。
特性
-
通过zookeeper来管理日志收集相关配置
-
日志文件轮转
-
批量发送
-
压缩 (none, gzip, snappy)
与其他日志聚合&监控工具的区别
与 flume , fluentd , logstash 区别:
- 日志收集配置和状态的管理:
flume, fluentd, logstash需要在日志所在机器添加日志收集配置项,并在本地启动服务,用于管理日志配置项和状态。
logkafka将日志收集配置和收集状态保存在zookeeper节点中:logkafka监控相应的节点,当配置变动时,logkafka会自
动拉取最新的日志配置项;logkafka会将所收集文件内的当前偏移记录在本地文件中,并定期将收集的状态信息上传到zookeeper。
- 日志收集的顺序性
flume, fluentd,
logstash的INPUT类型中都包含’tail’插件,但这些插件都是对扫描到的所有文件同时进行收集,不会考虑日志文件在时间上的顺序性。
logkafka会按时间顺序扫描新的文件。
Logkafka 与其他日志聚合&监控工具的区别 官网
https://github.com/Qihoo360/logkafka#users-of-logkafka
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。