[发明专利]一种数据质量稽核方法、装置、电子设备和存储介质

说明书

本发明公开了一种数据质量稽核方法、装置、电子设备和存储介质。所述方法包括：响应于质量稽核配置请求，生成与目标数据资产对应的质量稽核配置信息；根据目标数据资产的数据资产模型，从目标数据资产的数据源中读取数据；根据所述质量稽核配置信息对读取的数据进行质量稽核。有益效果在于，可以利用目标数据资产的数据资产模型，结合质量稽核配置信息对目标数据资产进行质量稽核，帮助用户了解资产的质量情况，根据质量评估情况为后续处理工作提供依据，可以有效提升对数量庞大的数据资产的管理水平和质量控制水平。

技术领域

本发明涉及数据资产领域，具体涉及一种数据质量稽核方法、装置、电子设备和存储介质。

背景技术

随着信息技术的发展，市场主体在日常经营中积累了大量的与资产与交易紧密关联的数据，并呈现将进一步扩增的趋势。但从数据质量上来看，数据质量往往呈现参差不齐的特点,有的甚至无法进行数据质量评估。数据资产的有效管理和质量维护可以充分利用和挖掘数据价值，进而提升企业竞争力。因此为了提高数据资产的价值和管理水平，需要从字段级别、表级别规则，对数据质量进行评估以帮助用户了解资产的质量情况，根据质量评估情况，再针对性对数据进行打点调整，清洗，优化等数据处理工作。但是现有技术方案对数据资产的质量稽核效果不佳，不能从数据的完整性、一致性、唯一性等多个层面轻松实现对数据的全面稽核，把控整个数据链路的数据质量，进而导致数据质量参差不齐,无法有效评估数据质量和指导决策。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种数据质量稽核方法、装置、电子设备和存储介质。

依据本发明的一个方面，提供了一种数据质量稽核方法，包括：

响应于质量稽核配置请求，生成与目标数据资产对应的质量稽核配置信息；

根据目标数据资产的数据资产模型，从目标数据资产的数据源中读取数据；

根据所述质量稽核配置信息对读取的数据进行质量稽核。

可选地，所述质量稽核配置信息包括：可用的质量稽核规则。

可选地，所述质量稽核配置请求包括质量稽核规则配置请求，所述响应于质量稽核配置请求，生成与目标数据资产对应的质量稽核配置信息包括：

依据所述质量稽核规则配置请求确定待校验的质量稽核规则；

对所述待校验的质量稽核规则进行校验，将校验通过的质量稽核规则作为可用的质量稽核规则。

可选地，所述校验包括自身正确性校验，和/或依据预览数据进行的校验。

可选地，所述质量稽核规则包括自定义规则和/或质量稽核配置规则库中的原生规则。

可选地，所述自定义规则包括代码形式的自定义规则和/或自定义Jar包形式的自定义规则。

可选地，所述原生规则包括字段级别规则和/或表级别规则；

所述字段级别规则包括如下的至少一种：空值校验规则、值域校验规则、数值范围规则、正则校验规则、违规校验规则、记录缺失规则、主外键约束规则、唯一性校验规则；

所述表级别规则包括如下的至少一种：及时性规则、波动性规则。

可选地，所述质量稽核配置信息还包括：与可用的质量稽核规则对应的质量稽核任务信息；

所述根据所述质量稽核配置信息对读取的数据进行质量稽核包括：在满足所述质量稽核任务信息中的任务执行条件时，对读取的数据进行质量稽核。

可选地，所述根据所述质量稽核配置信息对读取的数据进行质量稽核包括：

利用混算引擎和可用的质量稽核规则对读取的数据进行质量稽核。