[发明专利]用于在日志分析系统中实现日志解析器的方法和系统

权利要求书

1.一种用于实现日志解析器的方法，包括：

生成将日志中的第一条目的第一多个元素映射到对应的元素类型的映射结构；

相对于所述映射结构，分析所述日志中的第二条目的第二多个元素，以识别至少以下内容：

在所述第一多个元素和所述第二多个元素中相同的公共元素；以及

在所述第一多个元素和所述第二多个元素之间不同的第一可变元素；

生成包括至少以下内容的正则表达式：

所述公共元素；以及

第一匹配模式，所述第一匹配模式(a)将所述第一可变元素限制为多个可能的数据类型中的第一数据类型，并(b)在所述第一多个元素和所述第二多个元素这两者中匹配所述第一可变元素；

生成被配置为基于所述正则表达式解析日志的日志解析器；

其中所述方法由包括处理器的至少一个设备执行。

2.如权利要求1所述的方法，其中相对于所述映射结构，分析所述第二多个元素包括：

遍历所述第二多个元素；

在遍历所述第二多个元素的同时：

确定在所述第二多个元素和所述映射结构之间相同的第一公共字符；

确定在所述第二多个元素和所述映射结构之间相同的第二公共字符；

确定所述第一公共字符和所述第二公共字符之间的一个或多个中间字符在所述第二多个元素和所述映射结构之间不匹配；以及

将包含所述一个或多个中间字符的字符范围标记为所述第一可变元素。

3.如权利要求1或2所述的方法，其中所述多个可能的数据类型包括字符串类型、整数类型、字母字符类型或字段规则类型中的一个或多个，其中所述字段规则类型与由规则定义的元素序列对应。

4.如权利要求1或2所述的方法，还包括：

将所述日志的多个行的内容分组在一起，作为用于相对于所述映射结构进行分析的第二条目。

5.如权利要求4所述的方法，其中将多个行的内容分组在一起包括形成包括所述内容的单个行。

6.如权利要求1或2所述的方法，还包括：

至少通过以下操作，识别所述公共元素是所述日志内的定界符：

识别所述第一条目和所述第二条目中的多个公共元素；

至少部分基于所述多个公共元素的各自位置以及一个或多个加权因子，对所述多个公共元素进行评分；以及

至少部分基于评分来选择所述公共元素作为所述定界符。

7.如权利要求6所述的方法，其中所述一个或多个加权因子中的至少一个加权因子包括与多个元素的组合对应的基于规则的加权因子。

8.如权利要求6所述的方法，其中为所述公共元素的位置计算总和或平均值。

9.如权利要求1或2所述的方法，其中通过以下操作从所述日志中提取键字段和值字段：

由识别第一键值分隔符以及迭代地识别行内的键值对分隔符来识别用于评估一个或多个键值对的范围；以及

迭代地遍历所述行，以从键值分隔符的实例的左侧提取所述键字段并且从键值分隔符的实例的右侧提取所述值字段。

10.如权利要求9所述的方法，还包括对所述日志进行预处理，以对所述日志的字段和值部分进行分类。

11.如权利要求9所述的方法，其中后处理被应用以校正内容向所述键字段或所述值字段的有问题的指派。

12.如权利要求1或2所述的方法，其中在基于云的日志分析系统中的日志处理流水线内采用所述日志解析器。