[发明专利]数据质量评估方法、装置、终端设备以及存储介质

说明书

本发明公开一种数据质量评估方法，所述方法包括以下步骤：获取预设项目的待评估数据；基于所述待评估数据的存储方式，确定所述待评估数据的评估级别；利用所述评估级别和预设评分规则，对所述待评估数据进行评估，获得有效性分值、完整性分值和及时性分值；基于所述有效性分值、所述完整性分值和所述及时性分值，获得所述待评估数据的评估结果；基于所述评估结果，确定所述待评估数据的有效性。本发明还公开了一种数据质量评估装置、终端设备以及计算机可读存储介质。通过本申请的数据质量评估方法，可以确定数据是否有效。

技术领域

本发明涉及数据处理技术领域，特别涉及一种数据质量评估方法、装置、终端设备以及计算机可读存储介质。

背景技术

随着科技的进步，人类走进大数据时代，时时刻刻都会有大量的数据产生，并需要传输、处理和存储等，通常，不同的数据存储在数据仓库中的不同主题中。

目前，由于数据仓库中的数据来源不同，数据的ETL(抽取extract、转换transform和加载load)处理规则也不同，导致用户选择目标数据后，无法确定选择的目标数据是否有效。

发明内容

本发明的主要目的是提供一种数据质量评估方法、装置、终端设备以及计算机可读存储介质，旨在解决现有技术中用户选择目标数据后，无法确定选择的目标数据是否有效的技术问题。

为实现上述目的，本发明提出一种数据质量评估方法，其特征在于，所述方法包括以下步骤：

获取预设项目的待评估数据；

基于所述待评估数据的存储方式，确定所述待评估数据的评估级别；

利用所述评估级别和预设评分规则，对所述待评估数据进行评估，获得有效性分值、完整性分值和及时性分值；

基于所述有效性分值、所述完整性分值和所述及时性分值，获得所述待评估数据的评估结果；

基于所述评估结果，确定所述待评估数据的有效性。

可选的，基于所述待评估数据的存储方式，确定所述待评估数据的评估级别的步骤包括：

在所述待评估数据的存储方式为多表存储时，将所述待评估数据的评估级别确定为表粒度评估，或，

在所述待评估数据的存储方式为单表存储时，将所述待评估数据的评估级别确定为字段粒度评估。

可选的，所述利用所述评估级别和预设评分规则，对所述待评估数据进行评估，获得有效性分值、完整性分值和及时性分值的步骤包括：

基于所述评估级别，确定所述待评估数据的待评估对象；

利用所述预设评分规则，计算所述待评估对象的波动性分值和规范度分值，并基于所述波动性分值和所述规范度分值，获得所述有效性分值；

利用所述预设评分规则，计算所述待评估对象的非空率和缺失率，并基于所述非空率和所述缺失率，获得所述完整性分值；

利用所述预设评分规则，计算所述待评估对象的时间间隔分值，并基于所述时间间隔分值获得所述及时性分值。

可选的，所述利用所述预设评分规则，计算所述待评估对象的波动性分值和规范度分值，并基于所述波动性分值和所述规范度分值，获得所述有效性分值的步骤包括：

获取所述待评估对象的数据的预设阈值；

计算所述待评估对象的数据值与所述预设阈值的数据差值；

基于所述数据差值与所述预设阈值的比值，获得所述波动性分值；

确定所述待评估对象中满足预设规范的规范数据的数量；