[发明专利]数据检查系统、方法、装置和服务器

说明书

本说明书提供了数据检查系统、方法、装置和服务器。基于该方法，在大数据处理场景中，前端任务服务器可以获取用户设置的相关联的配置参数，以及包含有关系参数的自定义注解参数；根据配置参数和自定义注解参数，确定出目标数据表的检查任务所处的任务层级，并生成批量任务执行参数组；再根据配置参数、批量任务执行参数组生成对应的检查任务执行数据包，并将该检查任务执行数据包发送至总控节点服务器；总控节点服务器根据检查任务执行数据包，按照任务层级之间的执行顺序，结合预设的检查规约规则，逐层级地执行多个任务层级中的各个任务层级的目标数据表的检查任务。从而能有序、高效地对多个目标数据进行批量检查。

技术领域

本说明书属于大数据处理技术领域，尤其涉及数据检查系统、方法、装置和服务器。

背景技术

在大数据处理领域中，数据处理系统常常需要对数据量庞大的业务数据进行数据质量检查。例如，在银行的交易数据处理场景中，系统需要对不同业务的多种不同数据表是否满足多种不同规则分别进行逐一检查。

而基于现有的数据检查方法，往往需要用户针对每一种数据表是否满足一种规则单独设计、编写对应的检查代码，再通过调用该检查代码来对该数据表是否满足该种规则进行单独的检查。这样势必会增加用户的工作量，影响整体的检查效率。此外，基于上述方法，在对多种不同的数据表进行多任务检查时，往往很难以较好地管控不同数据表的检查过程之间的依赖关系，进而导致容易出现检查误差。

可见，现有的数据检查方法具体实施时，往往存在用户操作繁琐，数据表检查效率低、误差大的技术问题。

针对上述问题，目前尚未提出有效的解决方案。

发明内容

本说明书提供了一种数据检查系统、方法、装置和服务器，以简化用户操作，减少误差，高效、有序地对多个目标数据表进行多任务的批量检查。

本说明书提供了一种数据检查系统，包括：前端任务服务器、多个节点服务器，其中，

所述前端任务服务器用于获取与待检查的多个目标数据表关联的配置参数和自定义注解参数；其中，所述配置参数至少包含有与目标数据表的检查任务相关的检查规则的规则标识，所述自定义注解参数至少包含有用于表征不同目标数据表之间的依赖关系以及不同检查任务之间的依赖关系的关系参数；

所述前端任务服务器还用于根据所述配置参数和所述自定义注解参数，确定出多个目标数据表中的各个目标数据表的各个检查任务所处的任务层级，以生成相应的批量任务执行参数组；并根据所述配置参数、所述批量任务执行参数组，生成检查任务执行数据包；

所述前端任务服务器还用于从多个节点服务器中筛选出总控节点服务器，并将所述检查任务执行数据包发送至所述总控节点服务器；

所述总控节点服务器用于根据所接收到的所述检查任务执行数据包，确定出多个任务层级中的各个任务层级的目标数据表的检查任务以及任务层级之间的执行顺序；

所述总控节点服务器还用于按照所述任务层级之间的执行顺序，根据所述检查任务执行数据包、预设的检查规约规则，逐层级地执行所述多个任务层级中的各个任务层级的目标数据表的检查任务。

本说明书提供了一种数据检查方法，应用于前端任务服务器，包括：

获取与待检查的多个目标数据表关联的配置参数和自定义注解参数；其中，所述配置参数至少包含有与目标数据表的检查任务相关的检查规则的规则标识，所述自定义注解参数至少包含有用于表征不同目标数据表之间的依赖关系以及不同检查任务之间的依赖关系的关系参数；

根据所述配置参数和所述自定义注解参数，确定出多个目标数据表中的各个目标数据表的各个检查任务所处的任务层级，以生成相应的批量任务执行参数组；

根据所述配置参数、所述批量任务执行参数组，生成检查任务执行数据包；