[发明专利]数据探查方法、装置、电子设备以及存储介质

说明书

本发明实施例公开了一种数据探查方法、装置、电子设备及存储介质。该方法包括：根据探查范围条件从连接的各数据库中匹配至少一个目标数据表；获取各所述目标数据表的数据结构，确定各所述目标数据表中的待探查字段；基于预先设置的探查规则，分别对各待探查字段进行探查，并确定探查结果，其中，所述探查规则包括字段填充探查规则、特征值探查规则、字段长度探查规则和字段字典码探查规则中的至少一项。通过本发明实施例提供的技术方案，实现了自动地完成不同数据库类型的数据表中数据质量的探查分析，操作方便，提高了数据探查的效率。

技术领域

本发明实施例涉及数据分析技术领域，尤其涉及一种数据探查方法、装置、电子设备以及存储介质。

背景技术

随着大数据时代的到来，数据的应用也日趋重要，越来越多的应用和服务都基于数据而建立，数据的重要性不言而喻。而且，数据质量是数据分析和数据挖掘结论有效性和准确性的基础，也是这一切的数据驱动决策的前提。如何保障数据质量，确保数据可用性是每一位数据人都不可忽略的重要环节。

传统技术一般是通过手动编写各个独立的检测脚本去逐表探查分析原始数据质量；并直接使用各个独立的检测脚本执行对应的任务式查询。但是，若每次进行数据检测时，都需要通过手动编写重复的检测脚本，会耗费大量人力，从而降低了数据检测效率。

发明内容

本发明提供一种数据探查方法、装置、电子设备以及存储介质，以实现自动地完成不同数据库类型的数据表中数据质量的探查分析，操作方便，提高了数据探查的效率。

第一方面，本发明实施例提供了一种数据探查方法，应用于数据探查装置，该方法包括：

根据探查范围条件从连接的各数据库中匹配至少一个目标数据表；

获取各所述目标数据表的数据结构，确定各所述目标数据表中的待探查字段；

基于预先设置的探查规则，分别对各待探查字段进行探查，并确定探查结果，其中，所述探查规则包括字段填充探查规则、特征值探查规则、字段长度探查规则和字段字典码探查规则中的至少一项。

第二方面，本发明实施例还提供了一种数据表探查装置，该装置包括：

目标数据表确定模块，用于根据探查范围条件从连接的各数据库中匹配至少一个目标数据表；

待探查字段确定模块，用于获取各所述目标数据表的数据结构，确定各所述目标数据表中的待探查字段；

探查结果确定模块，用于基于预先设置的探查规则，分别对各待探查字段进行探查，并确定探查结果，其中，所述探查规则包括字段填充探查规则、特征值探查规则、字段长度探查规则和字段字典码探查规则中的至少一项。

第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例提供的数据探查方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例提供的数据探查方法。

本发明通过根据探查范围条件从连接的各数据库中匹配至少一个目标数据表；获取各所述目标数据表的数据结构，确定各所述目标数据表中的待探查字段；基于预先设置的探查规则，分别对各待探查字段进行探查，并确定探查结果，根据探查结果中的字段填充探查结果、特征值探查结果、字段长度探查结果和字段字典码探查结果，确定待探查字段的数据质量。通过本发明实施例提供的技术方案，实现了自动地完成不同数据库类型的数据表中数据质量的探查分析，操作方便，提高了数据探查的效率。

附图说明