Kibana安装

Kibana安装

1.下载tar包

2.添加elk用户

useradd elk

usermod  -s /sbin/nologion elk  #不让elk用户来登陆系统

3.解压

tar -xvf kibana-6.5.4-linux-x86_64.tar.gz

 

4.修改配置文件

cd /usr/kibana-6.5.4-linux-x86_64/config

vi kibana.yml

 

server.port: 5601

server.host: “0.0.0.0”      开通公网访问

#elasticsearch.url: "http://localhost:9200"      调用数据地址

#elasticsearch.username: "user"                配置elasticsearch用户名密码

#elasticsearch.password: "pass"

 

5.把kibana目录改成elk用户

chown -R elk:elk  /usr/kibana-6.5.4-linux-x86_64

6.编写启动脚本

nohup /usr/kibana-6.5.4-linux-x86_64/bin/start.sh >> /usr/kibana-6.5.4-linux-x86_64/log/kibana.log  2>&1 &

chmod -R 755 start.sh

7.用普通用户启动

su -s /bin/bash elk '/usr/kibana-6.5.4-linux-x86_64/bin/start.sh' 

8.然后就可以直接访问了

9.把elasticsearch 目录改成elk用户

chown -R elk:elk  /usr/elasticsearch-6.5.3

nginx安装

1.进入目录

/etc/yum.repos.d

 vim nginx.repo

2.粘贴配置

[nginx]

name=nginx repo

baseurl=http://nginx.org/packages/centos/7/$basearch/

gpgcheck=0

enabled=1

 

3.安装nginx

yum install  nginx

4.产看安装

rpm -ql nginx

 

5.启动nginx

nginx        启动

nginx -s stop 停止

nginx -t 检查语法

nginx -s reload 重新加载配置文件

worker_cpu_affinity [cpumast] 绑定cpu提高缓存命中率 cpumast 00000001 0号cpu 00000010 1号cpu

worker_priority number  worker进程优先级 【-20,20】

worker_rlimit_nofile number worker进程所能打开的文件数量上限

daemon on | off  on后台启动 off 前台启动

events配置

accept_mutex on | off      处理新的连接请求的方法 on 由各个worker轮训处理请求。   off 唤起所有worker ,然后进行竞争

http相关配置

配置一个虚拟主机

server{

listen address [:port]|port;

server_name:server_name;

root /path/to/document_root;

}

server{

listen address [:port]|port;

ip:ip;

root /path/to/document_root;

}

监听5609端口

server { 

listen 5609;
access_log /usr/local/logs/kibana_access.log main; 

error_log /usr/local/logs/kibana_error.log error; 

 location / {

 allow 127.0.0.1;

deny all; 

proxy_pass http://127.0.0.1:5601; } 

密码认证登陆

location / { 

auth_basic "elk auth";
 auth_basic_user_file /etc/nginx/pass/htpasswd;

 proxy_pass http://127.0.0.1:5601; 

}
printf "elk:$(openssl passwd -1 elk)\n" >/etc/nginx/pass/htpasswd 

 

logstash 安装

1.下载并解压安装包

tar -zxvf logstash-6.5.3.tar.gz

2.更改内存(根据个人机器)

cd /usr/logstash-6.5.3/config

vi  jvm.options

-Xms150M

-Xmx150M
3: logstash配置 

cd /usr/logstash-6.5.3/config

vim logstash.conf 

input { 

    file {

     path => "/usr/local/nginx/logs/kibana_access.log" 

       } 

    output {

      elasticsearch {

           hosts => ["http://127.0.0.1:9200"] } 

4.制作启动脚本

nohup /usr/logstash-6.5.3/bin/logstash -f /usr/logstash-6.5.3/config/logstash.conf  >> /usr/logstash-6.5.3/log/logstash.log  2>&1 &

chmod -R 755 start.sh

5.启动

 

 

 

 

1: logstash最简单配置,输入什么,就输出什么,方便我们测试正则表达式 input{ 

stdin{} } 

    output{

        stdout{

            codec=>rubydebug

        }

2.感受一下提取cron日志
输入日志:Mar 16 15:00:01 elk CROND[6300]: (root) CMD (/usr/lib64/sa/sa1 1 1) 

    input{

        stdin{}

           } 

    filter {

        grok {

                  match => {
                "message" => '(?<mydate>[a-zA-Z]+ [0-9]+ [0-9]+:[0-9]+:[0-9]+) .*' 

                             } } 

             } 

     output{

        stdout{

            codec=>rubydebug

        }

#提取时间
"message" => '(?<mydate>[a-zA-Z]+ [0-9]+ [0-9]+:[0-9]+:[0-9]+) .*'
#提取时间+主机名
"message" => '(?<mydate>[a-zA-Z]+ [0-9]+ [0-9]+:[0-9]+:[0-9]+) (?<myhostname>[^ ]+) .*' #提取时间+主机名+运行用户
"message" => '(?<mydate>[a-zA-Z]+ [0-9]+ [0-9]+:[0-9]+:[0-9]+) (?<myhostname>[^ ]+) CROND\[[0-9]+\]: \((?<myuser>[0-9a-zA-Z]+)\) .*'
#提取时间+主机名+运行用户+运行命令 

"message" => '(?<mydate>[a-zA-Z]+ [0-9]+ [0-9]+:[0-9]+:[0-9]+) (?<myhostname>[^ ]+) CROND\[[0-9]+\]: \((?<myuser>[0-9a-zA-Z-]+)\) CMD \((?<mycommand>.*)\)' 

3.感受tomcat日志提取
10.251.254.211 - - [16/Mar/2018:15:44:04 +0800] "GET /test HTTP/1.1" 404 1078 

#提取ip
"message" => '(?<myip>\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}) - - .*'
#提取ip+时间
"message" => '(?<myip>\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}) - - \[(?<mydate>[^ ]+) \+\d+\] ".*' #提取ip+时间+请求方法
"message" => '(?<myip>\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}) - - \[(?<mydate>[^ ]+) \+\d+\] "(? 

<mymethod>[A-Z]+) .*'
#提取ip+时间+请求方法+url+response code+响应大小
"message" => '(?<myip>\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}) - - \[(?<mydate>[^ ]+) \+\d+\] "(? 

<mymethod>[A-Z]+) (?<myurl>[^ ]+) HTTP/\d.\d" (?<myresponsecode>[0-9]+) (?<myresponsesize>[0-9]+)' 

4: 正则匹配不了就不输出到elasticsearch output{ 

if "_grokparsefailure" not in [tags] and "_dateparsefailure" not in [tags] { 

            stdout{

                codec=>rubydebug

} } 

1: 覆盖logstash的日期 filter { 

        grok {

            match => {

"message" => '(?<myip>\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}) - - \[(?<mydate>[^ ]+) \+\d+\] "(?<mymethod>[A-Z]+) (?<myurl>[^ ]+) HTTP/\d.\d" (?<myresponsecode>[0-9]+) (?<myresponsesize>[0-9]+)' 

                    }

        } 

date {
match => ["mydate", "dd/MMM/yyyy:HH:mm:ss"] 

target => "@timestamp" 

} } 

 

 

#yyyy-MM-dd HH:mm:ss,SSS

 #2018-03-16 15:44:04,077 

 

 

2: 使用logstash自带的常用正则
cat /usr/local/logstash-6.1.1/vendor/bundle/jruby/2.3.0/gems/logstash-patterns-core-4.1.2/patterns/grok-patterns
"message" => '%{IP:myip2} - - \[%{HTTPDATE:mydate2}\] "(?<mymethod>[A-Z]+) (?<myurl>[^ ]+) HTTP/\d.\d" (?<myresponsecode>[0-9]+) (?<myresponsesize>[0-9]+)' 

16/Mar/2018:15:44:04 +0800 

match => ["mydate2", "dd/MMM/yyyy:HH:mm:ss Z"] 

 

 

3正则提取nginx配置

 input { 

      file {
         path => "/usr/local/nginx/logs/kibana_access.log" start_position => "beginning"
         sincedb_path => "/dev/null" 

      } } 

    filter {

        grok {

match => {
"message" => '(?<source_ip>\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}) - [a-zA-Z0-9-]+ \[(? 

<nginx_time>[^ ]+) \+\d+\] "(?<method>[A-Z]+) (?<request_url>[^ ]+) HTTP/\d.\d" (?<status>\d+) \d+ " (?<referer>[^"]+)" "(?<agent>[^"]+)" ".*"' 

remove_field => ["message"] 

date {
match => ["nginx_time", "dd/MMM/yyyy:HH:mm:ss"] 

target => "@timestamp" } 

    output {

      elasticsearch {

hosts => ["http://127.0.0.1:9200"] } 

filebeat安装

1.下载并解压安装包

tar -zxvf filebeat-6.5.3-linux-x86_64.tar.gz

2.filebeat的配置文件vim /usr/filebeat-6.5.3-linux-x86_64/filebeat.yml 

filebeat: 

      prospectors:

      - input_type: log

        tail_files: true

        backoff: "1s"

        paths:

- /usr/local/nginx/logs/kibana_access.log 

    output:

      elasticsearch:

hosts: ["127.0.0.1:9200"] 

3: 启动filebeat(/usr/filebeat-6.5.3-linux-x86_64/start.sh)
nohup /usr/filebeat-6.5.3-linux-x86_64/filebeat -e -c /usr/filebeat-6.5.3-linux-x86_64/filebeat.yml >> /usr/filebeat-6.5.3-linux-x86_64/log/filebeat.log  2>&1 &
chmod  -R 777 start.sh 

4: 启动 sh start.sh 

5: 使用filebeat-开头的去创建索引,filebeat不支持正则提取的功能。 

logstash结合filebeat进行日志收集 

 

因此,我们需要结合filebeat的轻量和logstash的正则提取。 logstash -> elasticsearch -> kibana
filebeat -> elasticsearch -> kibana
filebeat -> logstash(需要开启端口监听) -> elastic -> kibana 

1: filebeat配置vim /usr/local/filebeat-6.1.1/filebeat.yml filebeat: 

      prospectors:

      - input_type: log

        tail_files: true

        backoff: "1s"

        paths:

- /usr/local/nginx/logs/kibana_access.log 

    output:

      logstash:

hosts: ["127.0.0.1:5044"] 

2: logstash配置vim /usr/local/logstash-6.1.1/config/logstash.conf 

input { 

      beats {

        host => '127.0.0.1'

        port => 5044

} } 

    filter {

        grok {

match => {
"message" => '(?<source_ip>\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}) - [a-zA-Z0-9-]+ \[(? 

<nginx_time>[^ ]+) \+\d+\] "(?<method>[A-Z]+) (?<request_url>[^ ]+) HTTP/\d.\d" (?<status>\d+) \d+ " (?<referer>[^"]+)" "(?<agent>[^"]+)" ".*"' 

remove_field => ["message", "beat"] 

date {
match => ["nginx_time", "dd/MMM/yyyy:HH:mm:ss"] 

target => "@timestamp" } 

output {

      elasticsearch {

hosts => ["http://127.0.0.1:9200"] } 

filebeatlogstash中引入redis 

 

1.filebeat配置:/usr/local/filebeat-6.1.1/filebeat.yml filebeat: 

      prospectors:

      - input_type: log

tail_files: true
backoff: "1s" #every second check log file paths: 

- /usr/local/nginx/logs/kibana_access.log 

    output:

      redis:

hosts: ["127.0.0.1"] 

port: 6379
password: 'test1234' 

key: 'nginx_log' 

 

2: logstash配置:/usr/local/logstash-6.1.1/config/logstash.conf input { 

redis {
host => '127.0.0.1' port => 6379
key => "nginx_log" 

data_type => "list"

 password => 'test1234' 

} } 

    filter {

        grok {

#125.119.2.71 - elk [17/Mar/2018:17:40:11 +0800] "POST /elasticsearch/_msearch HTTP/1.1" 200 9550 "http://144.202.123.228:5609/app/kibana" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36" "-" 

match => { 

"message" => '(?<source_ip>\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}) - [a-zA-Z0-9-]+ \[(? <nginx_time>[^ ]+) \+\d+\] "(?<method>[A-Z]+) (?<request_url>[^ ]+) HTTP/\d.\d" (?<status>\d+) \d+ " (?<referer>[^"]+)" "(?<agent>[^"]+)" ".*"' 

remove_field => ["message"] 

date {
match => ["nginx_time", "dd/MMM/yyyy:HH:mm:ss"] 

target => "@timestamp" } 

output {

  elasticsearch {

hosts => ["http://127.0.0.1:9200"] } 

 

索引自定义 

output { 

elasticsearch {
hosts => ["http://127.0.0.1:9200"] index => "nginx-%{+YYYY.MM.dd}" 

} } 

logstash分析多日志

1: filebeat读取多个日志文件配置

filebeat:

  prospectors:

  - input_type: log

    tail_files: true

    backoff: "1s"

    paths:

        - /var/log/messages

 

  - input_type: log

    tail_files: true

    backoff: "1s"

    paths:

        - /var/log/cron

 

output:

  logstash:

    hosts: ["127.0.0.1:5044"]

2: logstash的输出观察

input {

        beats {

                host => '127.0.0.1'

                port => 5044 

        }

}

 

output{

    stdout{

        codec=>rubydebug

   }

}

 

3: filebeat增加字段(观察输出)

filebeat:

  prospectors:

  - input_type: log

    tail_files: true

    backoff: "1s"

    paths:

        - /var/log/messages

    fields:

      type: messages

 

  - input_type: log

    tail_files: true

    backoff: "1s"

    paths:

        - /var/log/cron

    fields:

      type: cron

 

output:

  logstash:

    hosts: ["127.0.0.1:5044"]

 

4: logstash通过source来区分不同的日志文件,output和filter里面均可以做判断

#May 27 02:25:49 guest crontab[1704]: PAM pam_end: NULL pam handle passed

input {

        beats {

                host => '127.0.0.1'

                port => 5044 

        }

}

 

filter {

        if [source] == "/var/log/cron" {

                grok {

                        match => {

                                "message" => '(?<crondate>[a-zA-Z]+ \d+ \d+:\d+:\d+) .*'

                        }

                }

        }

}

 

output{

        if [source] == "/var/log/cron" {

                stdout{

                        codec=>rubydebug

                }

        }else  if [source] == "/var/log/messages" {

                file{

                        path=>"/tmp/shijiange.log"

                }

        }

}

5: logstash通过filelds字段进行判断

input {

        beats {

                host => '127.0.0.1'

                port => 5044 

        }

}

 

output{

        if [fields][type] == "cron" {

                elasticsearch {

    hosts => ["http://127.0.0.1:9200"]

    index => "cron-%{+YYYY.MM.dd}"

  }

        }else  if [fields][type] == "messages" {

                elasticsearch {

    hosts => ["http://127.0.0.1:9200"]

    index => "messages-%{+YYYY.MM.dd}"

  }

        }

}

 

 

 

 

 

 

 

 

 

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


文章浏览阅读3.7k次,点赞2次,收藏5次。Nginx学习笔记一、Nginx 简介1. 什么是Nginx2. 反向代理3. 负载均衡4. 动静分离二、Nginx基本使用1. Nginx常用的操作命令2. Nginx的配置文件提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录一、Nginx 简介1. 什么是Nginx2. 反向代理3. 负载均衡4. 动静分离二、Nginx基本使用1. Nginx常用的操作命令2. Nginx的配置文件一、Nginx 简介1. 什么是Nginx  Nginx(“engine x”)是一个_nginx代理
文章浏览阅读1.7w次,点赞14次,收藏61次。我们在使用容器的过程中需,有时候需要对容器中的文件进行修改管理,如果不做文件映射的化,我们使用docker exec -it 容器ID/容器名 /bin/bash 才能进入nginx中的文件里面如图。架设在客户机与目标主机之间,只用于代理内部网络对Internet的连接请求,客户机必须指定代理服务器,并将原本要直接发送到web服务器上的http请求发送到代理服务器中。A想要组C的房子,但是A并不认识C所以租不到,但是B认识C,A找B帮忙租到了C的房子。客户端代理服务器服务器。_docker nginx 配置
文章浏览阅读1.4k次。当用户在访问网站的过程中遇到404错误时,通常情况下应该显示一个友好的错误页面,而不是仅仅显示一个简单的错误提示。在Nginx中,可以通过配置来实现404错误自动跳转到首页的功能。如果您的网站使用动态内容生成页面(如PHP或其他服务器端语言),则应相应地修改配置以适应您的网站架构。这样,当用户访问一个不存在的页面时,Nginx会自动将其重定向到首页。为了使配置生效,需要重新加载Nginx配置。首先,需要打开Nginx的配置文件。现在,当用户访问一个不存在的页面时,Nginx会自动将其重定向到首页。_nginx 404 重定向
文章浏览阅读2.7k次。docker 和 docker-compose 部署 nginx+mysql+wordpress 实战_docker wordpress mariadb
文章浏览阅读1.3k次。5:再次启动nginx,可以正常启动,可以在任务管理器中查看到nginx的进程。重新启动下 直接访问8090端口 ok 访问成功。1 :查看80端口占用情况,pid的值为3960。3:在运行中输入regedit打开注册表编辑器。2: 通过以下命令查看3960所对应的服务名称。4:找到Start,右键修改将其制改为4。_nginx80端口无法访问
文章浏览阅读3.1w次,点赞105次,收藏182次。高性能:Nginx 被设计为能够处理大量并发连接而不显著增加系统负担。它采用异步事件驱动的架构,可以有效地处理高流量的 Web 请求。负载均衡:Nginx 支持负载均衡,可以将请求分发到多个后端服务器,以提高网站性能和可用性。反向代理:Nginx 可以充当反向代理,将客户端请求转发到后端服务器,隐藏后端服务器的真实 IP 地址,增加安全性和可扩展性。静态文件服务:Nginx 可以高效地提供静态文件(如 HTML、CSS、JavaScript、图像等)的服务,减轻应用服务器的负担。
文章浏览阅读976次。nginx作为常用的web代理服务器,某些场景下对于性能要求还是蛮高的,所以本片文章会基于操作系统调度以及网络通信两个角度来讨论一下Nginx性能的优化思路。我们的大学教程大部分讲述七层模型,实际上现代网络协议使用的都是四层模型,如下图,应用层报文经过四层的首部封装到对端。对端链路层拆开首部查看mac地址是自己在网上,拆开ip首部查看目的地址是不是自己,然后到达传输层应用层完成报文接收。文章是基于原有个人知识基础上,对旧知识进行巩固,以及新知识实践学习。
文章浏览阅读5.4k次,点赞9次,收藏15次。最后再说一种情况,就是后端处理了跨域,就不需要自己在处理了(这里吐槽下,某些后端工程师自己改服务端代码解决跨域,但是又不理解其中原理,网上随便找段代码黏贴,导致响应信息可能处理不完全,如method没添加全,headers没加到点上,自己用的那个可能复制过来的并不包含实际项目所用到的,没有添加options请求返回状态码等,导致Nginx再用通用的配置就会可能报以下异常)里面的就好了,因为这里如果是预检请求直接就ruturn了,请求不会再转发到59200服务,如果也删除了,就会报和情况1一样的错误。_nginx 允许跨域
文章浏览阅读2.5k次。项目配置了多个域名,如下,php 代码中有获取的值。当访问a.demo.com时,其获取的值是符合预期的。但是当访问b.demo.com时,其获取的值还是a.demo.com,导致代码中的判断出现错误。_nginxservername多个域名
文章浏览阅读1k次,点赞2次,收藏5次。采用YAML manifest的方式来安装ingress-nginx,用registry.lank8s.cn镜像库来替换 registry.k8s.io的库。_ingress-nginx安装
文章浏览阅读1.6k次,点赞2次,收藏2次。在windows平台编译nginx_windows 编译nginx
文章浏览阅读5.8k次,点赞2次,收藏18次。nginx [engine x] 是 HTTP 和反向代理服务器、邮件代理服务器和通用 TCP/UDP 代理服务器。nginx 的特点是占有内存少,并发能力强,事实上 nginx 的并发能力确实在同类型的网页服务器中表现较好,中国大陆使用nginx网站用户有:百度、京东、新浪、网易、腾讯、淘宝等。在高连接并发的情况下,nginx是Apache服务器不错的替代品,能够支持高达50000个并发连接数的响应。使用epoll and kqueue作为开发模型。_nginx
文章浏览阅读2k次。Linux启动(systemctl start nginx)nginx服务时出现:Failed to start nginx.service: Unit not found._为什么nginx的systemctl start nginx.service不能使用
文章浏览阅读1.3k次。重启之后,打开浏览器,输入http://localhost:8900/myBaidu,这时候就会自动的跳转到百度的页面。按照我们不同的需求修改nginx文件夹中的nginx-1.16.1conf里面的nginx.conf文件。启动nginx:打开nginx的文件夹,然后双击nginx.exe文件,启动nginx。打开之后假设我们需要跳转到百度则在配置文件nginx.conf中的下面加上。1、打开任务管理器关闭nginx的进程。端口在配置文件的(下图)进行查看nginx端口。_nginx 代理百度
文章浏览阅读5.7k次,点赞5次,收藏3次。nginx重定向问题解决(rewrite or internal redirection cycle)_rewrite or internal redirection cycle while internally redirecting to "/inde
文章浏览阅读1.3k次。请注意,上述命令假设 Nginx 已经在系统的 PATH 环境变量中配置。如果没有,请提供正确的 Nginx 安装路径,或者在命令中使用完整的路径来替换。将该命令与所有 Nginx 进程的 PID 一起使用,以终止所有正在运行的 Nginx 进程。此命令将启动一个新的 Nginx 进程来重新加载配置文件并重新启动服务器。使用以下命令来终止所有 Nginx 进程(使用上面的 PID 替换。的进程以及它们的 PID。打开命令提示符(CMD)。此命令将列出所有名为。选项来强制终止进程。_windows 怎么关闭nginx
文章浏览阅读2.7k次,点赞2次,收藏7次。包括 Netflix、GitHub 和 WordPress。Nginx 可以用作 Web 服务器、负载均衡器、反向代理和 HTTP 缓存等。_ubuntu安装nginx
文章浏览阅读915次。轻松搭建短域名短链接服务系统,可选权限认证,并自动生成证书认证把nginx的http访问转换为https加密访问,完整步骤和代码。_nginx 短链代理
文章浏览阅读1.1k次,点赞35次,收藏24次。流媒体方案之Nginx——实现物联网视频监控项目Nginx是什么Nginx在流媒体方案中的位置软硬件准备移植编译Nginx运行Ngnix测试流媒体方案浏览器播放_nginx-rtmp-module
文章浏览阅读1.9k次。nginx 配置 wss 协议转发 ws 服务器_nginx 配置wss