一款可与ELK相提并论的集中式日志管理系统-Graylog

Graylog与ELK可以相提并论的一款集中式日志管理方案,支持数据收集、检索、可视化Dashboard。

简介

Graylog最小化架构设计:

GrayLog:提供 GrayLog对外接口,具有报警选项的可插入日志和事件分析服务器。

Elasticsearch:一个基于Lucene的文档存储,主要用于日志索引、存储和分析。

MongoDB:存储一些 GrayLog 的配置信息。

Graylog群集架构图:

一体化方案,安装方便,不像ELK有3个独立系统间的集成问题。采集原始日志,并可以事后再添加字段,比如http_status_code,response_time等等。自己开发采集日志的脚本,并用curl/nc发送到Graylog Server,发送格式是自定义的GELF,Flunted和Logstash都有相应的输出GELF消息的插件。自己开发带来很大的自由度。实际上只需要用inotifywait监控日志的modify事件,并把日志的新增行用curl/netcat发送到Graylog Server就可。搜索结果高亮显示,就像google一样。搜索语法简单,比如: source:mongo AND reponse_time_ms:>5000,避免直接输入elasticsearch搜索json语法搜索条件可以导出为elasticsearch的搜索json文本,方便直接开发调用elasticsearch rest api的搜索脚本。

环境部署

Java安装

$ yum install java-1.8.0-openjdk-headless.x86_64

MongoDB安装

准备yum源

$ vim /etc/yum.repos.d/mongodb-org-3.2.repo

$ yum install mongodb-org

启动服务

$ sudo chkconfig --add mongod

$ sudo systemctl daemon-reload

$ sudo systemctl enable mongod.service

$ sudo systemctl start mongod.service

Elasticsearch安装

$ rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

$ vim /etc/yum.repos.d/elasticsearch.repo

$ yum install elasticsearch

更改elasticsearch配置文件

$ vim /etc/elasticsearch/elasticsearch.yml

cluster.name: graylog

启动服务

$ chkconfig --add elasticsearch

$ systemctl daemon-reload

$ systemctl enable elasticsearch.service

$ systemctl restart elasticsearch.service

安装Graylog

$ rpm -Uvh https://packages.graylog2.org/repo/packages/graylog-2.3-repository_latest.rpm

$ yum install graylog-server

编辑配置文件 /etc/graylog/server/server.conf 添加 password_secret 、root_password_sha2,执行如下命令,将结果添加到分别添加到配置文件对应的部分。

$ yum install epel-release

$ yum install pwgen

$ pwgen -N 1 -s 96

将结果添加到 配置文件的password_secret 部分。

$ echo -n <pwd> | sha256sum

将结果添加到配置文件的 root_password_sha2 部分。

启动服务

$ sudo chkconfig --add graylog-server

$ sudo systemctl daemon-reload

$ sudo systemctl enable graylog-server.service

$ sudo systemctl start graylog-server.service

然后修改rest_listem_uri和web_listem_uri的IP地址修改为本机的IP。

rest_listen_uri = http://192.168.190.168:9000/api/

web_listen_uri = http://192.168.190.168:9000/

root_timezone = Asia/Shanghai

至此,graylog web已经安装完成,访问http://localhost:9000即可看到web界面。

官方文档:http://docs.graylog.org/en/3.0/pages/getting_started/configure.html

添加日志收集器

测试

执行命令:

# echo 'date' | nc 127.0.0.1 5555

安装成功

GELF (Graylog Extended Log Format) 可以接收结构化的事件, 支持压缩(GZIP’d or ZLIB’d)和分块。

GELF message:

version string host string short_message string full_message string timestamp number level number facility string line number file string _[additional field] string or number, 通过 _ 前缀添加自定义的字段

测试命令:

# curl -XPOST http://127.0.0.1:12201/gelf -p0 -d '{"short_message":"Hello jncsy!", "host":"jncsy.org", "facility":"测试", "_foo":"bar"}'

以上简单测试搭建。

原文地址:https://www.toutiao.com/article/6691789519928164867/

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


学习编程是顺着互联网的发展潮流,是一件好事。新手如何学习编程?其实不难,不过在学习编程之前你得先了解你的目的是什么?这个很重要,因为目的决定你的发展方向、决定你的发展速度。
IT行业是什么工作做什么?IT行业的工作有:产品策划类、页面设计类、前端与移动、开发与测试、营销推广类、数据运营类、运营维护类、游戏相关类等,根据不同的分类下面有细分了不同的岗位。
女生学Java好就业吗?女生适合学Java编程吗?目前有不少女生学习Java开发,但要结合自身的情况,先了解自己适不适合去学习Java,不要盲目的选择不适合自己的Java培训班进行学习。只要肯下功夫钻研,多看、多想、多练
Can’t connect to local MySQL server through socket \'/var/lib/mysql/mysql.sock问题 1.进入mysql路径
oracle基本命令 一、登录操作 1.管理员登录 # 管理员登录 sqlplus / as sysdba 2.普通用户登录
一、背景 因为项目中需要通北京网络,所以需要连vpn,但是服务器有时候会断掉,所以写个shell脚本每五分钟去判断是否连接,于是就有下面的shell脚本。
BETWEEN 操作符选取介于两个值之间的数据范围内的值。这些值可以是数值、文本或者日期。
假如你已经使用过苹果开发者中心上架app,你肯定知道在苹果开发者中心的web界面,无法直接提交ipa文件,而是需要使用第三方工具,将ipa文件上传到构建版本,开...
下面的 SQL 语句指定了两个别名,一个是 name 列的别名,一个是 country 列的别名。**提示:**如果列名称包含空格,要求使用双引号或方括号:
在使用H5混合开发的app打包后,需要将ipa文件上传到appstore进行发布,就需要去苹果开发者中心进行发布。​
+----+--------------+---------------------------+-------+---------+
数组的声明并不是声明一个个单独的变量,比如 number0、number1、...、number99,而是声明一个数组变量,比如 numbers,然后使用 nu...
第一步:到appuploader官网下载辅助工具和iCloud驱动,使用前面创建的AppID登录。
如需删除表中的列,请使用下面的语法(请注意,某些数据库系统不允许这种在数据库表中删除列的方式):
前不久在制作win11pe,制作了一版,1.26GB,太大了,不满意,想再裁剪下,发现这次dism mount正常,commit或discard巨慢,以前都很快...
赛门铁克各个版本概览:https://knowledge.broadcom.com/external/article?legacyId=tech163829
实测Python 3.6.6用pip 21.3.1,再高就报错了,Python 3.10.7用pip 22.3.1是可以的
Broadcom Corporation (博通公司,股票代号AVGO)是全球领先的有线和无线通信半导体公司。其产品实现向家庭、 办公室和移动环境以及在这些环境...
发现个问题,server2016上安装了c4d这些版本,低版本的正常显示窗格,但红色圈出的高版本c4d打开后不显示窗格,
TAT:https://cloud.tencent.com/document/product/1340