[发明专利]一种海量数据处理方法、系统、终端及存储介质

权利要求书

1.一种海量数据处理方法，其特征在于，包括：

设置数据质量检测的基础规则；

根据业务需要修改所述基础规则并根据修改后的基础规则生成特定业务数据校验模板；

利用基础规则和所述特定业务校验模板对海量数据进行校验；

将校验出的问题数据以及问题数据的校验结果保持至问题数据库。

2.根据权利要求1所述的方法，其特征在于，所述设置数据质量检测的基础规则，包括：

根据业务场景对数据的普遍需求设置数据检测的基础规则，所述基础规则限定数据格式和数据字典属性。

3.根据权利要求1所述的方法，其特征在于，所述根据业务需要修改所述基础规则并根据修改后的基础规则生成特定业务数据校验模板，包括：

根据数据的业务含义将数据来源与业务项进行绑定；

根据数据的业务项需求调整对绑定数据的基础规则的属性限定值；

根据数据的业务项需求在基础规则的基础上增加业务项必须的校验规则；

生成特定业务校验模板，并将基础规则和校验规则写入特定业务校验模板。

4.根据权利要求1所述的方法，其特征在于，所述利用基础规则和所述特定业务校验模板对海量数据进行校验，包括：

利用基础规则对所有海量数据进行校验；

根据数据来源调用相应的业务校验模板对数据进行校验；

采用大数据批处理框架进行数据校验。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

监控系统资源占用率；

当监控到资源占用率达到设定指标时，触发所述利用基础规则和特定业务校验模板对海量数据的校验。

6.一种海量数据处理系统，其特征在于，包括：

基础设置单元，配置用于设置数据质量检测的基础规则；

模板生成单元，配置用于根据业务需要修改所述基础规则并根据修改后的基础规则生成特定业务数据校验模板；

分布校验单元，配置用于利用基础规则和所述特定业务校验模板对海量数据进行校验；

问题存储单元，配置用于将校验出的问题数据以及问题数据的校验结果保持至问题数据库。

7.根据权利要求6所述的系统，其特征在于，所述基础设置单元包括：

基础设置模块，配置用于根据业务场景对数据的普遍需求设置数据检测的基础规则，所述基础规则限定数据格式和数据字典属性。

8.根据权利要求6所述的系统，其特征在于，所述模板生成单元包括：

数据绑定模块，配置用于根据数据的业务含义将数据来源与业务项进行绑定；

属性调整模块，配置用于根据数据的业务项需求调整对绑定数据的基础规则的属性限定值；

规则增加模块，配置用于根据数据的业务项需求在基础规则的基础上增加业务项必须的校验规则；

模板生成模块，配置用于将基础规则和必须校验规则写入特定业务校验模板。

9.一种终端，其特征在于，包括：

处理器；

用于存储处理器的执行指令的存储器；

其中，所述处理器被配置为执行权利要求1-5任一项所述的方法。

10.一种存储有计算机程序的计算机可读存储介质，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一项所述的方法。