[发明专利]一种数据质量评估方法、装置、介质和电子设备

说明书

本申请提供一种数据质量评估方法、装置、介质和电子设备，涉及数据检测技术领域。该方法，获取待评估数据的待评估数据子集；将待评估数据子集与预设数据元进行匹配，确定待评估数据子集中的字段信息对应的目标数据元；根据预设的数据元与校验规则的对应关系，确定目标数据元对应的目标校验规则；根据目标校验规则，确定待评估数据子集的子集数据合格率。该方法，通过基于预设的数据元及数据元与校验规则的对应关系，为待评估数据的字段信息匹配适用的校验规则，得到待评估数据的待评估数据子集的合格率，实现对待评估数据的数据质量的自动评估，可以节省数据质量评估的人力成本，提升数据质量评估的效率。

技术领域

本申请实施例涉及数据检测技术领域，尤其涉及一种数据质量评估方法、装置、介质和电子设备。

背景技术

数据质量是指在业务环境中，数据满足用户需求的程度以及在完整性、有效性、一致性等方面的完善程度。

在数据仓库飞速发展的今天，数据仓库中海量数据呈现爆发式增长，数据的集中为后续的数据分析和挖掘数据价值提供了更多可能。数据质量直接决定了业务的正确性以及算法的准确性。所以数据质量评估变的尤为重要。

目前数据仓库的数据质量评估，通常在将原始数据接入到数据仓库的阶段通过人工进行。相关技术在数据质量评估时，对专业化要求高，工作量大，因而数据质量评估的效率低。

发明内容

为解决现有存在的技术问题，本申请实施例提供了一种数据质量评估方法、装置、介质和电子设备，可以提高数据质量评估的效率。

为达到上述目的，本申请实施例的技术方案是这样实现的：

第一方面，本申请实施例提供一种数据质量评估方法，包括：

获取待评估数据的待评估数据子集；其中，所述待评估数据子集包括至少一个字段信息；所述字段信息具有对应的字段名称；

将所述待评估数据子集与预设数据元进行匹配，确定所述待评估数据子集中的所述字段信息对应的目标数据元；

根据预设的数据元与校验规则的对应关系，确定所述目标数据元对应的目标校验规则；

根据所述目标校验规则，确定所述待评估数据子集的子集数据合格率；所述子集数据合格率表征所述待评估数据子集包含的字段信息中，符合所述目标校验规则的字段信息所占的比例。

本申请实施例提供的数据质量评估方法，获取待评估数据的待评估数据子集；将待评估数据子集与预设数据元进行匹配，确定待评估数据子集中的字段信息对应的目标数据元；根据预设的数据元与校验规则的对应关系，确定目标数据元对应的目标校验规则；根据目标校验规则，确定待评估数据子集的子集数据合格率。该方法在数据质量评估时，通过基于预设的数据元及数据元与校验规则的对应关系，为待评估数据的字段信息匹配适用的校验规则，得到待评估数据的所述待评估数据子集的合格率，实现对待评估数据的数据质量的自动评估，无需人为干预，可以节省数据质量评估的人力成本，提升数据质量评估的效率。

在一种可选的实施例中，所述将所述待评估数据子集与预设数据元进行匹配，确定所述待评估数据子集中的所述字段信息对应的目标数据元，包括：

确定所述待评估数据子集包含的所述字段信息对应的目标字段名称；

将所述目标字段名称与预设数据元进行匹配，确定所述目标字段名称匹配的数据元；

将所述目标字段名称匹配的数据元，作为所述待评估数据子集中的所述字段信息对应的目标数据元。