[发明专利]针对无格式日志的在线解析方法及系统

权利要求书

1.一种针对无格式日志的在线解析方法，其特征在于，所述方法包括：

日志预处理，对接收到的日志进行预处理，得到日志分组模板；

模板聚合，将所述日志分组模板进行聚合分类，根据聚合分类结果更新日志对应的预设特征模板。

2.根据权利要求1所述的针对无格式日志的在线解析方法，其特征在于，所述对接收到的日志进行预处理，得到日志分组模板，包括：

根据参数规则将日志中的参数变量替换为对应的字符串；

将参数变量替换完成后的日志切分为多个标记；

构建解析树对切分后的日志进行分类；

对于每一分类，根据相似度对该分类的日志进行分组；

对于每一日志分组，确定该日志分组是否存在预设分组模板：

若存在，比较该日志分组内的日志与该日志分组的预设分组模板位于相同位置的标记，若两个标记不相同，使用通配符代替预设分组模板相应位置的标记，得到日志分组模板；

若不存在，则新建日志分组，将新建的日志分组内的日志作为该日志的日志分组模板和该日志分组的预设分组模板。

3.根据权利要求2所述的针对无格式日志的在线解析方法，其特征在于，所述构建解析树，对切分后的日志进行分类，包括：

通过日志标记数和索引构建解析树，对切分后的日志进行分类。

4.根据权利要求2所述的针对无格式日志的在线解析方法，其特征在于，所述将所述日志分组模板进行聚合分类，根据聚合分类结果更新日志对应的预设特征模板，包括：

日志分组模板处理：将日志分组模板中相邻的通配符合并为一个通配符，得到第一日志分组模板；

判断所述第一日志分组模板是否存在对应的预设特征模板；若不存在，将所述第一日志分组模板新建为预设特征模板；

若存在，则计算第一日志分组模板与对应的预设特征模板之间的编辑距离；根据所述编辑距离计算第一日志分组模板与对应的预设特征模板之间的相似度；若所述相似度大于或等于设定阈值，则将第一日志分组模板与对应的预设特征模板进行合并，得到公共特征模板，并将预设特征模板更新为所述公共特征模板；若相似度小于设定阈值，则将所述第一日志分组模板新建为预设特征模板；

记录新建或更新的预设特征模板的ID。

5.根据权利要求4所述的针对无格式日志的在线解析方法，其特征在于，所述根据所述编辑距离计算第一日志分组模板与预设特征模板之间的相似度，包括：采用SimTpl＝(n-LevDistance)/n计算相似度，

其中，LevDistance为所述编辑距离，SimTpl为所述相似度，n为所述第一日志分组模板字符数和预设特征模板字符数中的较大值。

6.根据权利要求3所述的针对无格式日志的在线解析方法，其特征在于，所述在线解析方法还包括：

将原始日志和日志分组模板对应的索引进行存储。

7.一种针对无格式日志的在线解析系统，所述在线解析系统应用权利要求1-6中任一项所述的针对无格式日志的在线解析方法，其特征在于，所述在线解析系统包括：

日志预处理单元，用于对接收到的日志进行预处理，得到日志分组模板；

模板聚合单元，用于将所述日志分组模板进行聚合分类，根据聚合分类结果更新日志对应的预设特征模板。