[发明专利]一种基于实时计算数据标准化处理引擎及处理方法

说明书

本发明提供一种基于实时计算数据标准化处理引擎及处理方法，属于数据处理技术领域。该基于实时计算数据标准化处理引擎，包括：规则匹配模块，所述规则匹配模块用于依据传入消息头信息与已配置规则匹配消息与规则；规则配置模块，所述规则配置模块用于管理规则配置信息；规则编译模块，所述规则编译模块用于将规则编译成字节码；规则执行模块，所述规则执行模块用于将输入的消息输出清洗后结果；规则链模块，多个规则组成规则链，所述规则链模块用于对规则链的每一个规则进行规则处理。本发明还提供一种基于上述处理引擎的基于实时计算数据标准化处理方法。

技术领域

本发明属于数据处理技术领域，尤其是涉及一种基于实时计算数据标准化处理引擎及处理方法。

背景技术

随着大数据技术发展，数字服务应用在生活的方方面面，数据量急剧暴增且数据结构不固定，如何快速归整出统一数据结构是一个问题。当前最常见解决办法是针对特定数据结构开发固定数据清洗任务，随着接入数据种类增加，清洗任务随之增加。

发明内容

本发明旨在解决上述技术问题，提供一种能够通过配置化方式解决归整统一数据结构的基于实时计算数据标准化处理引擎及处理方法。

为了达到上述目的，本发明采用如下技术方案：

一种基于实时计算数据标准化处理引擎，包括：规则匹配模块，所述规则匹配模块用于依据传入消息头信息与已配置规则匹配消息与规则；规则配置模块，所述规则配置模块用于管理规则配置信息；规则编译模块，所述规则编译模块用于将规则编译成字节码；规则执行模块，所述规则执行模块用于将输入的消息输出清洗后结果；规则链模块，多个规则组成规则链，所述规则链模块用于对规则链的每一个规则进行规则处理。

作为优选，所述规则配置模块管理的规则配置信息包括字典映射规则，所述字典映射规则是指通过一个值映射到一个另一个值。

作为优选，所述规则配置模块管理的规则配置信息包括列表规则，所述列表规则是指将数组转成多条记录。

作为优选，所述规则配置模块管理的规则配置信息包括赋值规则，所述赋值规则是指将某个属性值加工处理赋值给另一个属性。

作为优选，所述规则配置模块管理的规则配置信息包括时间规则，所述时间规则是指对时间进行各类型格式化。

作为优选，所述规则配置模块管理的规则配置信息包括聚合规则，所述聚合规则是指对一个数组字段进行聚合，并将聚合结果值赋给另一个字段。

本发明还提供了一种基于实时计算数据标准化处理方法，包括以下步骤：

S1.判断传入消息头信息与规则是否匹配，若头信息与规则匹配，则通过规则匹配模块匹配头消息与规则，然后执行步骤S2，若头信息与规则不匹配，则结束数据处理；

S2.判断规则链缓存是否存在，若规则链缓存存在，则执行步骤S4，若规则链缓存不存在，则执行步骤S3；

S3.编译规则并缓存，以构建规则链，规则链生成后执行步骤S4；

S4.迭代规则链并执行规则链标准化。

采用上述技术方案后，本发明具有如下优点：

本发明的基于实时计算数据标准化处理引擎，能够通过配置化方式解决统一数据结构规整的问题，将传入消息头与规则信息进行匹配，构成规则链并缓存和执行，能够实现数据的统一规整。

附图说明

图1为本发明的一种基于实时计算数据标准化处理引擎的结构示意图；

图2为本发明的一种基于实时计算数据标准化处理方法的步骤流程图；

图中：