elk分析mysql

ELK是一个流行的日志管理和分析平台，现在已被广泛地用于监控和分析各种应用程序、服务器和网络日志。在本文中，我们将介绍如何使用ELK分析MySQL日志。

首先，我们需要修改MySQL的配置文件my.cnf，启用slow query log。

[mysqld]
log_slow_queries=/var/log/mysql/mysql-slow.log
long_query_time=1
log_queries_not_using_indexes

上述配置将slow query log文件定位于/var/log/mysql/mysql-slow.log，slow query的阈值为1秒，而且还记录未使用索引的查询。

接着，我们需要把MySQL日志收集到ELK中。这可以通过Logstash实现：

input {
  file {
    path => "/var/log/mysql/mysql-slow.log"
    type => "mysql-slowlog"
  }
}

filter {
  if [type] == "mysql-slowlog" {
    grok {
      match => { "message" => "%{DATESTAMP:date} %{WORD:type} %{GREEDYDATA:message}" }
    }
    if [type] == "Query" {
      grok {
        match => { "message" => "(?i)select\s+.+\s+from\s+.+" }
      } 
    }
  }
}

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "mysql-slowlog-%{+YYYY.MM.dd}"
  }
}

上述配置定义了一个input，收集/var/log/mysql/mysql-slow.log中的MySQL slow log语句，定义了一个filter，用于把日志文件解析成可以方便查询的字段，例如：date,type,message等。最后，定义了一个output，把解析后的日志存储到Elasticsearch中。

现在，我们可以使用Kibana来查询MySQL的慢查询日志了。在Kibana的Discover页面中，选择索引mysql-slowlog-*，即可查看MySQL慢查询的日志：

最后，我们可以使用Kibana的可视化功能，对MySQL慢查询日志进行分析和监控。例如，下图展示了MySQL慢查询的占比：

本文介绍了如何使用ELK分析MySQL日志，并展示了如何使用Kibana来分析和监控MySQL慢查询日志。