[发明专利]针对无格式日志的在线解析方法及系统

说明书

本发明提供一种针对无格式日志的在线解析方法及系统，属于计算机技术领域。所述方法包括：日志预处理，将接收到的日志处理为分组模板；模板聚合，将所述日志分组模板进行聚合分类，根据聚合分类结果更新日志对应的预设特征模板。所述在线解析系统应用所述的针对无格式日志的在线解析方法，该系统包括：日志预处理单元，用于将接收到的日志处理为分组模板；模板聚合单元，用于将所述日志分组模板进行聚合分类，根据聚合分类结果更新日志对应的预设特征模板。该方法无需对日志格式提前了解就可以根据日志时间实时对日志模板进行解析，同时对非固定长度的日志模板进行准确解析，提高解析的准确度。

技术领域

本发明涉及计算机技术领域，具体地涉及一种针对无格式日志的在线解析方法以及一种针对无格式日志的在线解析系统。

背景技术

大规模系统通常会生成日志来记录系统状态和运行时的信息，每个日志都包含了时间戳和指示发生了什么事件的日志信息。这些有价值的日志信息经过日志解析后，可以使用机器学习的方法来进行异常检测，及时发现系统中的异常事件。

每个日志消息由相应系统开发人员编写的一种日志语句打印，并记录一个特定的系统事件。开发人员编写的自由文本消息内容通常很难结构化，因为它是由常量字符串和变量值组成的。常量部分取决于日志消息的事件模板，在不同事件发生时保持固定。变量部分携带感兴趣的动态运行时信息(即参数)，这些信息在不同的事件发生之间可能有所不同。日志解析的目标是将每个日志消息转换为参数和与之相关联的特定事件模板。

日志解析的传统方法，是基于关键字匹配对日志进行解析和识别。更具体地说，每个日志消息都可以被解析成带有一些日志头如日期、级别以及包含参数(可变部分)的事件模板(固定部分)。如日志消息：2020-04-28 20:15:54INFO Received block blk_321ofsize 67108864from 10.251.126.5:50010，被解析成为时间、级别和事件，事件模板为Received block*of size*from*。这种传统方法在面临复杂系统和多样性以及变化性的日志时十分低效。

2017年《Drain：An Online Log Parsing Approach with Fixed DepthTree.pdf》论文中提到的固定深度树自动算法，基于相同日志模板的日志长度相同的假设，先将日志根据长度分类，再根据固定深度的(默认使用第一个)标记(token)继续分类，最后在类内根据相似度阈值的方法进行分组，得到不同分组的日志模板。这种计算方法最大的缺陷是其假设不成立，即：相同日志模板产生的日志长度未必相同。例如两个事件：

s1＝Command DropTable Failed on:node-127

s2＝Command UpdateIndex Failed on:node-235node-236

事件s1和s2的日志模板均为Command*Failed on:*，其参数长度可变，而非属于两个不同的日志模板。Drain(depth tree based online log parsing，基于深度树的在线日志解析)在处理这样的参数长度可变事件时并不能够准确的解析，会将本应属于同一日志模板的事件划分为不同的日志模板，增加了系统模板的数量，降低了解析准确度。

发明内容

本发明实施方式的目的是提供一种针对无格式日志的在线解析方法及系统，该方法无需对日志格式提前了解就可以根据日志时间实时对日志模板进行解析，同时对非固定长度的日志模板进行准确解析，提高解析的准确度。

为了实现上述目的，本发明第一方面提供一种针对无格式日志的在线解析方法，所述方法包括：

日志预处理，对接收到的日志进行预处理，得到日志分组模板；

模板聚合，将所述日志分组模板进行聚合分类，根据聚合分类结果更新日志对应的预设特征模板。