[发明专利]结构化日志数据的加工方法和装置

权利要求书

1.一种结构化日志数据的加工方法，所述结构化日志数据为Java脚本对象表示法Json格式的数据，所述方法包括：

接收处理指令和待加工的Json数据；所述处理指令包括用来表达数据加工方式的符号或关键字；

基于预置符号集的语法规则和语法声明进行所述处理指令的解析，生成对所述Json数据的处理逻辑；所述预置符号集中包括语法规则和所述处理指令的符号和关键字的语法声明，所述语法声明中包括按照Json格式提取Json数据的实现；

将对所述Json数据的处理逻辑运行结果作为加工后的日志数据，用于进行数据挖掘。

2.根据权利要求1所述的方法，所述基于预置符号集的语法规则和语法声明进行所述处理指令的解析，生成对所述Json数据的处理逻辑，包括：

基于预置符号集中的语法声明，以符号和关键字为节点生成所述处理指令的查询语法树；所述语法查询树中至少一个节点的实现包括按照Json格式提取Json数据；

根据所述处理指令中的符号或关键字遍历查询语法树，生成对所述Json数据的处理逻辑。

3.根据权利要求2所述的方法，所述查询语法树基于开源语法分析器antlr4生成，所述查询语法树的遍历采用antlr4的访问者visitor模式。

4.根据权利要求2所述的方法，所述基于预置符号集中的语法声明，以符号和关键字为节点生成所述处理指令的查询语法树，包括：当缓存中不存在所述处理指令的查询语法树时，基于预置符号集中的语法声明，以符号和关键字为节点生成所述处理指令的查询语法树并存储在缓存中。

5.根据权利要求1所述的方法，所述按照Json格式提取Json数据由信息抽取类库Jsonpath实现。

6.根据权利要求1所述的方法，所述对Json数据的处理逻辑运行结果为Json格式的数据。

7.根据权利要求1所述的方法，所述处理指令为结构化查询语言SQL语句。

8.一种结构化日志数据的加工装置，所述结构化日志数据为Java脚本对象表示法Json格式的数据，所述装置包括：

输入接收单元，用于接收处理指令和待加工的Json数据；所述处理指令包括用来表达数据加工方式的符号或关键字；

处理逻辑单元，用于基于预置符号集的语法规则和语法声明进行所述处理指令的解析，生成对所述Json数据的处理逻辑；所述预置符号集中包括语法规则和所述处理指令的符号和关键字的语法声明，所述语法声明中包括按照Json格式提取Json数据的实现；

结果输出单元，用于将对所述Json数据的处理逻辑运行结果作为加工后的日志数据，用于进行数据挖掘。

9.根据权利要求8所述的装置，所述处理逻辑单元包括：

查询语法树子单元，用于基于预置符号集中的语法声明，以符号和关键字为节点生成所述处理指令的查询语法树；所述语法查询树中至少一个节点的实现包括按照Json格式提取Json数据；

语法树遍历子单元，用于根据所述处理指令中的符号或关键字遍历查询语法树，生成对所述Json数据的处理逻辑。

10.根据权利要求9所述的装置，所述查询语法树基于开源语法分析器antlr4生成，所述查询语法树的遍历采用antlr4的访问者visitor模式。

11.根据权利要求9所述的装置，所述处理逻辑单元具体用于：当缓存中不存在所述处理指令的查询语法树时，基于预置符号集中的语法声明，以符号和关键字为节点生成所述处理指令的查询语法树并存储在缓存中。

12.根据权利要求8所述的装置，所述按照Json格式提取Json数据由信息抽取类库Jsonpath实现。