如何解决将String转换为JSON,以便在Kibana / Elasticsearch中进行搜索
我有Elasticsearch
,Filebeat
和Kibana
在Windows机器上运行。 Filebeat
日志具有正确的日志文件,正在监听路径。当我查看Kibana
中的数据时,看起来不错。
我的问题是message
字段是一个字符串。
一个日志行的示例:
12:58:09.9608 Trace {"message":"No more Excel rows found","level":"Trace","logType":"User","timeStamp":"2020-08-14T12:58:09.9608349+02:00","fingerprint":"226fdd2-e56a-4af4-a7ff-724a1a0fea24","windowsIdentity":"mine","machineName":"NAME-PC","processName":"name","processVersion":"1.0.0.1","jobId":"957ef018-0a14-49d2-8c95-2754479bb8dd","robotName":"NAME-PC","machineId":6,"organizationUnitId":1,"fileName":"GetTransactionData"}
所以我现在想要的是将String转换为JSON,以便可以在Kibana
中搜索level
字段。
我已经看过Filebeat
。我在那里尝试启用LogStash。但是,这些数据不再提供给Elasticsearch。而且日志文件也不会生成到LogStash
文件夹中。
然后我通过install guide下载了LogStash
,但不幸的是,我收到了以下消息:
C:\Users\name\Desktop\logstash-7.8.1\bin>logstash.bat
Sending
Logstash logs to C:/Users/mine/Desktop/logstash-7.8.1/logs which
is now configured via log4j2.properties ERROR: Pipelines YAML file is
empty. Location:
C:/Users/mine/Desktop/logstash-7.8.1/config/pipelines.yml usage:
bin/logstash -f CONFIG_PATH [-t] [-r] [] [-w COUNT] [-l LOG]
bin/logstash --modules MODULE_NAME [-M
"MODULE_NAME.var.PLUGIN_TYPE.PLUGIN_NAME.VARIABLE_NAME=VALUE"] [-t]
[-w COUNT] [-l LOG] bin/logstash -e CONFIG_STR [-t] [--log.level
fatal|error|warn|info|debug|trace] [-w COUNT] [-l LOG] bin/logstash
-i SHELL [--log.level fatal|error|warn|info|debug|trace] bin/logstash -V [--log.level fatal|error|warn|info|debug|trace]
bin/logstash --help
[2020-08-14T15:07:51,696][ERROR][org.logstash.Logstash ]
java.lang.IllegalStateException: Logstash stopped processing because
of an error: (SystemExit) exit
编辑:
我尝试仅使用Filebeat
。我在这里设置:
processors:
- add_host_metadata: ~
- add_cloud_metadata: ~
- add_docker_metadata: ~
- add_kubernetes_metadata: ~
- dissect:
tokenizer: '"%{event_time} %{loglevel} %{json_message}"'
field: "message"
target_prefix: "dissect"
- decode_json_fields:
fields: ["json_message"]
但这给了我
dissect_parsing_error
在tokenizer
处删除“”的提示有所帮助。然后我得到了:
我只是刷新索引,消息消失了。很好。
但是现在的问题是,如何在新字段中过滤某些内容?
解决方法
该消息说,您的管道配置为空。似乎您尚未配置任何管道。 Logstash可以解决问题(JSON filter plugin),但是Filebeat在这里就足够了。如果您不想引入其他服务,这是更好的选择。
它具有decode_json_fields
选项,可将事件中包含JSON的特定字段转换为。这是documentation。
在将来的情况下,如果您的整个事件都是JSON,则可以在filebeat中进行解析,以配置json.message_key
和相关的json.*
选项。
编辑-作为processors日志示例的dissecting示例,添加了文件拍点代码片段,分为三个字段(event_time,loglevel和json_message)。然后,最近提取的字段json_message(其值为一个编码为字符串的JSON对象)将被decoded转换为JSON结构:
...
filebeat.inputs:
- type: log
paths:
- path to your logfile
processors:
- dissect:
tokenizer: '%{event_time} %{loglevel} %{json_message}'
field: "message"
target_prefix: "dissect"
- decode_json_fields:
fields: ["dissect.json_message"]
target: ""
- drop_fields:
fields: ["dissect.json_message"]
...
如果您想练习filebeat处理器,请尝试设置正确的事件时间戳记,该事件时间戳记来自已编码的json,并使用timestamp processor写入@timestamp。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。