[发明专利]结构化日志数据的加工方法和装置

说明书

本说明书提供一种结构化日志数据的加工方法，所述结构化日志数据为Java脚本对象表示法Json格式的数据，所述方法包括：接收处理指令和待加工的Json数据；所述处理指令包括用来表达数据加工方式的符号或关键字；基于预置符号集的语法规则和语法声明进行所述处理指令的解析，生成对所述Json数据的处理逻辑；所述预置符号集中包括语法规则和所述处理指令的符号和关键字的语法声明，所述语法声明中包括按照Json格式提取Json数据的实现；将对所述Json数据的处理逻辑运行结果作为加工后的日志数据，用于进行数据挖掘。

技术领域

本说明书涉及数据处理技术领域，尤其涉及一种结构化日志数据的加工方法和装置。

背景技术

随着互联网的发展和普及，各种基于网络进行的活动都在源源不断的产生数据。数据挖掘技术能够从大量的数据中发现有价值的知识、模式、规则等信息，为科学研究、商业决策、过程控制等提供辅助支持，成为数据利用的重要方式。

基于网络进行的活动通常被网络服务提供商的各个业务平台以日志的形式记录下来，成为用于挖掘的数据来源，例如用户行为日志、业务平台的运行日志等。这些日志数据通常要先经过数据清洗，经过数据一致性检查、处理无效值及缺失值等加工过程，才能用来进行数据挖掘。

然而，由于不同的网络服务器提供商、乃至同一网络服务提供商的不同业务平台所记录的日志数据都有各自的形式，在进行数据加工时，为每种形式的日志数据分别设计配置方案，花费了开发人员的大量时间精力，而且对该配置方案的使用者来说也需要耗费相当的理解成本。

发明内容

有鉴于此，本说明书提供一种结构化日志数据的加工方法，所述结构化日志数据为Java脚本对象表示法Json格式的数据，所述方法包括：

接收处理指令和待加工的Json数据；所述处理指令包括用来表达数据加工方式的符号或关键字；

基于预置符号集的语法规则和语法声明进行所述处理指令的解析，生成对所述Json数据的处理逻辑；所述预置符号集中包括语法规则和所述处理指令的符号和关键字的语法声明，所述语法声明中包括按照Json格式提取Json数据的实现；

将对所述Json数据的处理逻辑运行结果作为加工后的日志数据，用于进行数据挖掘。

本说明书还提供了一种结构化日志数据的加工装置，所述结构化日志数据为Java脚本对象表示法Json格式的数据，所述装置包括：

输入接收单元，用于接收处理指令和待加工的Json数据；所述处理指令包括用来表达数据加工方式的符号或关键字；

处理逻辑单元，用于基于预置符号集的语法规则和语法声明进行所述处理指令的解析，生成对所述Json数据的处理逻辑；所述预置符号集中包括语法规则和所述处理指令的符号和关键字的语法声明，所述语法声明中包括按照Json格式提取Json数据的实现；

结果输出单元，用于将对所述Json数据的处理逻辑运行结果作为加工后的日志数据，用于进行数据挖掘。

本说明书提供的一种计算机设备，包括：存储器和处理器；所述存储器上存储有可由处理器运行的计算机程序；所述处理器运行所述计算机程序时，执行上述结构化日志数据的加工方法所述的步骤。

本说明书还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，执行上述结构化日志数据的加工方法所述的步骤。