如何解决如何在交错的日志文件中检测序列
我想匹配给定模式库中的模式,并返回检测到的最长模式。
但是,在日志文件中,例如只有多个并行任务的交错结果,例如来自处理器的多个内核。
这是数据挖掘中的已知应用程序吗?
我想到了一种类似于Regex subsequence matching的正则表达式解决方案。但是,具有一种允许一些模糊性的距离度量会很好,例如如果序列中的一项活动会丢失。
解决方法
正如其他人指出的那样,如果我们理解您要完成的工作的语义,这将有所帮助。我在这里猜测您的模式库中的模式都属于
- 单一资源(或)
- 一组资源
如果是这种情况,我建议您首先将该信息添加到您的模式库中以使其明确。例如,您的模式库如下所示:
1: A
1: AB
1: ABC
2: AD
2: C
2: D
如果您想涵盖一组资源的模式,则可能看起来像这个人为的示例:
3: X
4: Y
3,4: Z
现在,您可以从交错的日志文件中分离出与每个资源有关的日志记录(假设日志文件确实具有资源标识符)。然后,您可以应用模式匹配来发现最长的模式。
本质上,将您的关注点分开并针对每个子问题应用解决方案。
,如果我们有日志文件和模式库,则可以解决堆栈问题。 我们开始从日志文件读取。如果带有堆栈的新日志在模式库中创建了现有模式,则将其推入堆栈。除非,否则我们将其放入新堆栈中。请发送您的评论以完成答案的详细信息。
,您有一个容易描述的问题,如果我们知道您的限制,那就太好了。这需要运行多快?
在Python中,您将对资源使用单个迭代器,将每个资源推送到一个单独的生成器以进行模式匹配。也就是说,迭代器产生(resource 1,A)
并将其推入资源1的生成器中,以查看它是否与模式匹配。生成器偶尔会踢出匹配的模式。
在实践中,您可能只需要Splunk插件或将所有内容都放入数据库中。这种类型的分析用于以下常见问题:“查找在过去两周内有3次会话的所有客户,但放弃了购物车,其中购物车中有一个常见项目超过了总数的75%。请立即将此客户发送给5%的折扣适用于24小时。”
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。