[发明专利]客户数据清洗方法、装置、电子设备及可读存储介质

说明书

本发明涉及数据处理技术，揭露一种客户数据清洗方法，包括：获取原始客户数据集，对所述原始客户数据集进行数据缺失值填充及去异常值处理，得到初始客户数据集，根据所述初始客户数据集生成对比矩阵并计算对比矩阵的重复度，剔除重复度大于预设阈值的对比矩阵对应的客户数据，得到标准客户数据集，利用预构建的关键数据提取模型对所述标准客户数据集进行数据提取，得到关键数据，并根据关键数据构建客户知识图谱，将所述客户知识图谱与预设数据进行比较，以执行所述标准客户数据集的有效性验证。本发明还揭露一种客户数据清洗装置、电子设备及存储介质。本发明可以提高客户数据清洗的效率和准确性。

技术领域

本发明涉及数据处理领域，尤其涉及一种客户数据清洗方法、装置、电子设备及计算机可读存储介质。

背景技术

随着社会经济的发展，集团企业越来越多，集团企业下面的客户也会越来越多，客户相关的数据随之也会增多。为了更好的对集团企业的客户进行管理，需要对客户数据进行清洗，判断所述客户数据中的必要数据是否存在，且对多余且重复的数据进行清除，从而实现客户数据的完整性及唯一性。

现有技术中，客户数据的清洗方式通常是非自动化的，利用人工对所述客户数据进行核对和识别，识别效率低下且结果不够精准。

发明内容

本发明提供一种客户数据清洗方法、装置、电子设备及计算机可读存储介质，其主要目的在于解决传统客户数据清洗方法效率低下且不准确的问题。

为实现上述目的，本发明提供的一种客户数据清洗方法，包括：

获取原始客户数据集，对所述原始客户数据集进行缺失值填充及去异常值处理，得到初始客户数据集；

根据所述初始客户数据集生成对比矩阵，并计算所述对比矩阵的重复度，对所述重复度大于预设阈值的对比矩阵对应的客户数据执行去重操作，得到标准客户数据集；

利用预构建的关键数据提取模型对所述标准客户数据集进行数据提取，得到关键数据，并根据所述关键数据构建客户知识图谱；

将所述客户知识图谱与预设数据进行比较，以执行所述标准客户数据集的有效性验证；

将所述有效性验证结果发送给预设的监控终端。

可选地，所述对所述原始客户数据集进行缺失值填充及去异常值处理，得到初始客户数据集，包括：

判断所述原始客户数据集是否存在缺失值，当所述原始客户数据集存在缺失值时，对所述原始客户数据集进行数据填充；

判断所述原始客户数据集是否存在异常值，当所述原始客户数据集存在异常值时，删除所述原始客户数据集包含的异常值。

可选地，所述判断所述原始客户数据集是否存在异常值，包括：

计算所述原始客户数据集中邻近数据的局部可达密度比值；

在所述局部可达密度比值小于或等于预设比值时，确定所述原始客户数据为异常值。

可选地，所述计算所述原始客户数据集中邻近数据的局部可达密度比值，包括：

利用下述公式计算所述局部可达密度比值：

其中，N_k(q)为所述原始客户数据集，ld_k(q)为N_k(q)内的第q个客户数据，ld(p)为所述第q个客户数据的临近数据，k为N_k(q)中所述原始客户数据集中的数据个数，reach-distk(p,q)为p，q之间的距离。

可选地，所述利用预构建的关键数据提取模型对所述标准客户数据集进行数据提取，得到关键数据之前，还包括：