用于写入 logstash 并在 Kibana 中呈现的 grok 脚本

如何解决用于写入 logstash 并在 Kibana 中呈现的 grok 脚本

我正在关注 filebeat->logstash->elasticsearch->kibana 管道。 filebeat 成功运行并从目标文件中获取日志。

Logstash 在输入插件上接收日志并绕过过滤器插件并发送到输出插件。

filebeat.yml

  

         # ============================== Filebeat inputs ===============================
            
                filebeat.inputs:
                       
                - type: log
                  enabled: true
                  paths:
                   - D:\serverslogs\ch5shdmtbuil100\TeamCity.BuildServer-logs\launcher.log  
                  fields: 
                    type: launcherlogs
                
                - type: filestream
                
                  # Change to true to enable this input configuration.
                  enabled: false
                
                  # Paths that should be crawled and fetched. Glob based paths.
                  paths:
                    - /var/log/*.log
               
                # =================================== Kibana ===================================
                setup.kibana:
                  host: "localhost:5601"
        
    
    # ------------------------------ Logstash Output -------------------------------
        output.logstash:
          # The Logstash hosts
          hosts: ["localhost:5044"]

logstash.conf

input{
            beats{
                    port => "5044"
            }
    
    }
    
    filter {
          
           
        
         if [fields][type] == "launcherlogs"{ 
    
           grok {
    
                 match => {"message" =>%{YEAR:year}-%{MONTH:month}-%{MONTHDAY:day}%{DATA:loglevel}%{SPACE}-%{SPACE}%{DATA:class}%{SPACE}-%{GREEDYDATA:message}}
                    
           }
        }
      
    }
    output{
            elasticsearch{
                    hosts => ["http://localhost:9200"]
                    index => "poclogsindex"
            }
    }

我可以在 kibana 上发送日志，但是 grok 调试器脚本没有在 kibana 上呈现所需的 json。 Kibana 上呈现的数据 json 并未显示脚本中传递的所有属性。请指教。

解决方法

您的 grok 模式与您在评论中给出的示例不匹配：缺少几个部分（括号、HH:mm:ss,SSS 部分和一个额外的空格）。 Grok 调试器是你的朋友 ;-)

代替：

%{YEAR:year}-%{MONTH:month}-%{MONTHDAY:day}%{DATA:loglevel}%{SPACE}-%{SPACE}%{DATA:class}%{SPACE}-%{GREEDYDATA:message}

你的模式应该是：

\[%{TIMESTAMP_ISO8601:timestamp}\] %{DATA:loglevel}%{SPACE}-%{SPACE}%{DATA:class}%{SPACE}-%{GREEDYDATA:message}

TIMESTAMP_ISO8601 匹配此日期/时间。

此外，我总是双引号引用模式，所以 grok 部分是：

grok {
    match => {"message" => "\[%{TIMESTAMP_ISO8601:timestamp}\] %{DATA:loglevel}%{SPACE}-%{SPACE}%{DATA:class}%{SPACE}-%{GREEDYDATA:message}"}
}