[发明专利]数据处理引擎

说明书

本发明提供一种数据处理引擎，其根据大数据处理的特点在规则配置模块中设置可视化界面供用户填写配置参数，并根据预设的编译规则自动将用户填写的规则配置参数编译成配置程序或提供可视化界面解析用户填写的SQL语句获取规则配置参数，再将规则配置参数编译成配置程序，根据配置程序智能选择数据处理工具并编译该数据处理工具可识别的执行程序进行数据处理，能够以统一的配置根据用户需求智能选择数据处理工具，自动完成数据处理，简化用户操作，降低数据处理难度，提升数据处理效率。

技术领域

本发明涉及大数据技术领域，尤其涉及一种数据处理引擎。

背景技术

信息科技经过60多年的发展，已渗透到各行业的方方面面。政治、经济活动中很大一部分的活动都与数据的创造、采集、传输和使用相关，随着网络应用日益深化，大数据应用的影响日益扩大。根据机构测算，全世界数据总量以每两年翻一番的速度递增。换句话说，最近两年产生的数据总量相当于人类有史以来所有数据量的总和。在这个背景下，从公司战略到产业生态，从学术研究到生产实践，从城镇管理乃至国家治理，都将发生本质的变化。

大数据指的是大小超出常规的数据工具获取、存储、管理和分析能力的数据集，并不是说一定要超过特定TB值得数据集才能算是大数据。国际数据公司(IDC)从四个特征定义大数据，即海量的数据规模(Volume)、快速的数据流转和动态的数据体系(Velocity)、多样的数据类型(Variety)和巨大的数据价值(Value)。大数据几乎渗透到国民经济的所有部门，应用领域涉及信息服务、智慧城市、金融、制造业、国家安全和科学研究等。

如今开源大数据技术已经成熟，凭借其低成本和高扩展性的特点，推动了很多企业的数据汇聚、加工向大数据集群处理模式的转变。在大数据时代，数据资产化和价值化成为企业的核心竞争力，如何完成对爆发式增长的数据的处理成为企业实际的问题，目前，大数据平台下的数据处理分为批处理技术和实时处理技术，批处理工具包含Mapreduce、hive、spark以及衍生出来的impla、pig、和tez等技术，实时处理工具包括strom、和spark-staream以及相关配套的技术redis、kafka、和hbase等，如此多的工具就是为了满足在大数据环境下的数据处理。每个工具都有自己单独的任务提交与管理方式，并且往往主要针对特定应用场景，而现实中大数据处理一般都是混合型场景，因此进行大数据处理时往往会部署多种大数据处理工具，技术人员需要学习数据处理工具实在太多太杂，学习难度极高，大数据人才及其难得，对于企业人力成本也是不可承受之重，阻碍了大数据平台的普及，影响了行业发展。

发明内容

本发明的目的在于提供一种数据处理引擎，能够以统一的配置根据用户需求智能选择数据处理工具，自动完成数据处理，简化用户操作，降低数据处理难度，提升数据处理效率。

为实现上述目的，本发明提供了一种数据处理引擎，包括：规则配置模块、与所述规则配置模块关联的规则库、与所述规则库关联的规则处理模块、与所述规则处理模块关联的规则编译模块、与所述规则编译模块关联的程序管理器、与所述程序管理器关联的执行模块、与所述执行模块关联的若干大数据平台；

所述执行模块中设有多种数据处理工具；

所述规则配置模块用于提供可视化界面供用户填写数据处理的规则配置参数或SQL语句，并根据预设的编译规则自动将用户填写的规则配置参数编译成配置程序或解析用户填写的SQL语句获取规则配置参数，再将规则配置参数编译成配置程序，并将配置程序写入规则库；

所述规则库用于保存配置程序；

所述规则处理模块用于从规则库加载配置程序，并根据预设的验证项验证配置程序的是否可执行，若配置程序可执行，则将配置程序发送到规则编译模块，若配置程序不可执行，则提示不可执行以及不可执行的原因；