[发明专利]一种构建物联网工作流的交错日志分析方法

说明书

本发明提供了一种构建物联网工作流的交错日志分析方法，包括以下步骤：日志文件中，在每个日志条目后设置长度为N的窗口，窗口覆盖日志条目后方相邻的N个后继日志条目；窗口的N值人为确定；计算在前日志条目与其后窗口中的每个后继日志条目之间的依赖值；设定过滤阈值，若联合依赖值大于过滤阈值，则对应后继日志条目为在前日志条目的真实后继条目。本发明在交错日志中构建工作流模型时避免了日志中标识信息的使用，具有广泛的适用性，同时解决了由日志交错带来的上下文丢失和噪声问题。

技术领域

本发明属于计算机领域，特别涉及一种构建物联网工作流的交错日志分析方法。

背景技术

目前，智能物联网系统架构变得越来越复杂，包括成千设备组件，并同时为多个用户提供服务。对于管理员来说，从日志中获取系统运行信息、了解系统运行状态是进行系统维护的重要途径。然而随着物联网系统规模和复杂性的增加，一天产生的日志数量已经达到TB级，手动处理这些日志将变得不可能。从系统日志中挖掘的工作流模型可以用于系统维护，帮助管理员了解系统运行状况并监视系统正确运行。然而，由于系统文件和规范的不完善，通常情况下无法获得系统完整的工作流。另外，由于物联网系统运行机制多变的特点，因此很难去建立一个有效、完整而自适应的工作流模型。

目前的系统都会将系统运行时的信息写入日志中，日志可以帮助管理人员了解系统运行状态、分析系统故障原因。下面的示例展示了一个典型的原始日志条目，包括时间戳、级别和原始日志内容。

2020-02-10 20：38：31，5186INFO dfs.DataNode$DataXceiver：Receiving blockblk_-6853481264720481267 src：/10.210.11.53：48251dest：/10.210.11.53：50754

原始日志内容可以通过日志解析成日志模板和参数，对于本示例而言，模板为“Receiving block*Src：*dest：*”，参数用“*”进行标识。由于模板可以代表系统运行时的特定状态，所以被用来做工作流模型中的点。连接工作流模型中点的边表示状态转移，如图1中的工作流模型示例。

系统的并发和异步特点导致了日志交错现象，简单来说系统日志文件中日志序列杂乱无序。日志交错现象会带来上下文丢失和噪音的问题，这使得区分属于不同任务的日志很困难。但是原则上，要构建一个正确的工作流模型，需要先将隶属于不同任务的日志分离开来，然后进一步提取程序执行路径形成工作流模型。我们以图1为例，来说明分离交错日志并建立对应的工作流模型的困难。此处有两个日志序列，执行路径相互交错，即1→3→5→8→9→11和2→4→6→7→10→12。现有的一些方法假定每个日志条目都有唯一标识其所属执行的标识符。另外一些方法假定即使系统日志没有唯一标识，也可以通过日志中的信息协作识别这些日志。但是一些系统，例如OpenStack，它有超过三分之一的日志没有任何标识。因此，不能依赖这些信息去分离日志并建立工作流模型。对于这些系统，通过日志中的标识信息来区分隶属于不同任务的日志是无效的。

另外，系统的可变性和多态性带来了模型老化的问题，所以随着系统的运行离线建立的工作流模型会很快丧失效果。模型老化通常是不可逆的，热更新(应用重启)对其恢复或缓解的影响很小。因此，由于模型老化问题，如果不随时间进行调整更新，离线建立的静态工作流模型将会丧失效力。重构工作流模型会消耗很多资源，实时进行重构不是一个有效的解决方案。所以如何对离线建立的工作流模型进行在线更新也是一个亟待解决的问题。

发明内容

本发明针对现有技术中存在的技术问题，提供一种构建物联网工作流的交错日志分析方法，在交错日志中构建工作流模型时避免了日志中标识信息的使用，具有广泛的适用性，同时解决了由日志交错带来的上下文丢失和噪声问题。另外，通过微迭代更新算法更新模型解决了模型老化的问题。

本发明采用的技术方案是：一种构建物联网工作流的交错日志分析方法，包括以下步骤：