[发明专利]一种数据质量检查方法及装置

权利要求书

1.一种数据质量检查方法，其特征在于，所述方法包括：

接收客户端发送的质检请求，所述质检请求至少携带了检查任务标识、检查参数的参数值；

根据所述质检请求携带的检查任务标识获取对应的数据质检方案；

利用所述检查参数的参数值解析出所述数据质检方案中记录的数据源、检查规则脚本及检查资源分配需求，所述检查规则脚本包括数据过滤脚本、数据分组脚本和验证规则脚本；

根据所述数据源确定待质检数据在大数据平台中的存储信息；

执行所述检查规则脚本，得到数据质检规则；

根据所述存储信息、数据质检规则以及检查资源分配需求生成数据质检指令；

发送所述数据质检指令至大数据平台；

接收大数据平台执行所述数据质检指令后返回的数据质检结果。

2.根据权利要求1所述的方法，其特征在于，所述数据源中含有数据源初始化脚本，所述根据所述数据源确定待质检数据在大数据平台中的存储信息，具体包括：

执行所述数据源初始化脚本，确定待质检数据的数据名称；

根据所述数据名称确定所述待质检数据在大数据平台中的存储信息。

3.根据权利要求1所述的方法，其特征在于，所述执行所述检查规则脚本，得到数据质检规则，包括：

执行数据过滤脚本和数据分组脚本，得到第一阶段数据质检规则；

执行验证规则脚本，得到第二阶段数据质检规则，其中，所述第二阶段数据质检规则用于检查符合第一阶段数据质检规则的待质检数据。

4.根据权利要求3所述的方法，其特征在于，接收大数据平台执行所述数据质检指令后返回的数据质检结果，包括：

接收大数据平台执行所述数据质检指令后返回的含有质检不合格的待质检数据的数据质检结果，所述质检不合格的待质检数据包括：不符合第一阶段数据质检规则的待质检数据，和/或，不符合第二阶段数据质检规则的待质检数据。

5.根据权利要求1-4中任一项权利要求所述的方法，其特征在于，所述方法还包括：

判断所述数据质检结果中是否存在质检不合格的待质检数据；

若存在，则将所述质检不合格的待质检数据添加到预设的报告模板中，生成质检报告。

6.根据权利要求1所述的方法，其特征在于，在接收客户端发送的质检请求之前，所述方法还包括：

定期检测本地是否存在新增数据质检方案，若存在，则获取新增数据质检方案对应的新增检查任务标识；

将所述新增检查任务标识发送至客户端。

7.一种数据质量检查装置，其特征在于，所述装置包括：

请求接收单元，用于接收客户端发送的质检请求，所述质检请求至少携带了检查任务标识、检查参数的参数值；

方案获取单元，用于根据所述请求接收单元得到的质检请求中携带的检查任务标识获取对应的数据质检方案；

指令生成单元包括：

方案解析模块，用于利用所述检查参数的参数值解析出所述数据质检方案中记录的数据源、检查规则脚本及检查资源分配需求，所述检查规则脚本包括数据过滤脚本、数据分组脚本和验证规则脚本；

数据确定模块，用于根据所述方案解析模块得到的数据源确定待质检数据在大数据平台中的存储信息；

规则获取模块，用于执行所述方案解析模块得到的检查规则脚本，得到数据质检规则；

指令生成模块，用于根据所述数据确定模块得到的存储信息、所述规则获取模块得到的数据质检规则以及所述方案解析模块得到的检查资源分配需求生成数据质检指令；

指令发送单元，用于发送所述指令生成单元得到的数据质检指令至大数据平台；

质检结果接收单元，用于接收大数据平台执行所述数据质检指令后返回的数据质检结果。

8.一种处理器，其特征在于，所述处理器用于运行计算机程序，其中，所述计算机程序运行时执行权利要求1-6中任意一项所述的数据质量检查方法。