[发明专利]数据质量的检测方法、装置、计算机设备和存储介质

说明书

本申请涉及一种数据质量的检测方法、装置、计算机设备和存储介质。所述方法包括：获取待检测数据；所述待检测数据携带目标参数和数据检测模式，所述数据检测模式标识所述待检测数据的质量问题类型；获取与所述数据检测模式对应的初始数据检测文件；根据所述目标参数对所述初始数据检测文件进行配置，生成目标数据检测文件；根据生成的所述目标数据检测文件对所述待检测数据的数据质量进行检测，得到对应的检测结果。本方法基于自动化测试工具，实现了自动生成与数据检测模式对应的数据检测文件的目的，无需人工手动编写各个独立的数据检测文件，简化了数据检测文件的生成流程，从而提高了数据检测效率。

技术领域

本申请涉及数据处理技术领域，特别是涉及一种数据质量的检测方法、装置、计算机设备和存储介质。

背景技术

在数据处理技术领域里，为了判断数据质量问题，通常在数据经过清洗，加工和汇总之后，检测数据的准确性。

然而，在检测数据的准确性的过程中，传统技术一般是通过手动编写各个独立的检测脚本，比如SQL语句；并直接使用各个独立的检测脚本执行对应的任务式查询。但是，若每次进行数据检测时，都需要通过手动编写重复的检测脚本，会耗费大量人力，从而降低了数据检测效率。

发明内容

基于此，有必要针对上述传统技术存在数据检测效率低的技术问题，提供一种能够数据检测效率的数据质量的检测方法、装置、计算机设备和存储介质。

一种数据质量的检测方法，所述方法包括：

获取待检测数据；所述待检测数据携带目标参数和数据检测模式，所述数据检测模式标识所述待检测数据的质量问题类型；

获取与所述数据检测模式对应的初始数据检测文件；

根据所述目标参数对所述初始数据检测文件进行配置，生成目标数据检测文件；

根据生成的所述目标数据检测文件对所述待检测数据的数据质量进行检测，得到对应的检测结果。

在其中一个实施例中，所述根据所述目标参数对所述初始数据检测文件进行配置，生成目标数据检测文件，包括：

分别获取各个所述目标参数在所述初始数据检测文件中的位置标识符；

按照位置标识符，分别将各个所述目标参数导入至所述初始数据检测文件中对应的参数位置，生成目标数据检测文件。

在其中一个实施例中，所述根据生成的所述目标数据检测文件对所述待检测数据的数据质量进行检测，得到对应的检测结果，包括：

获取所述目标数据检测文件对应的检测规则；

确定所述待检测数据中与所述目标参数对应的字段；

根据所述检测规则对所述字段进行检测，得到对应的检测结果。

在其中一个实施例中，在根据生成的所述目标数据检测文件对所述待检测数据的数据质量进行检测，得到对应的检测结果之后，还包括：

获取所述检测规则的预期结果；

若所述检测规则的预期结果与所述检测结果匹配，则确定所述待检测数据中的所述字段正常；

若所述检测规则的预期结果与所述检测结果不匹配，则确定所述待检测数据中的所述字段异常，将所述检测结果进行存储。

在其中一个实施例中，所述方法还包括：

获取存储的各个所述检测结果以及对应的待检测数据的质量问题类型；

将获取的各个所述检测结果和对应的待检测数据的质量问题类型，按照预设顺序加载至数据检测报告模板中，生成对应的数据检测报告；