[发明专利]客户数据清洗方法、装置、电子设备及可读存储介质

权利要求书

1.一种客户数据清洗方法，其特征在于，所述方法包括：

获取原始客户数据集，对所述原始客户数据集进行缺失值填充及去异常值处理，得到初始客户数据集；

根据所述初始客户数据集生成对比矩阵，并计算所述对比矩阵的重复度，对所述重复度大于预设阈值的对比矩阵对应的客户数据执行去重操作，得到标准客户数据集；

利用预构建的关键数据提取模型对所述标准客户数据集进行数据提取，得到关键数据，并根据所述关键数据构建客户知识图谱；

将所述客户知识图谱与预设数据进行比较，以执行所述标准客户数据集的有效性验证；

将所述有效性验证结果发送给预设的监控终端。

2.如权利要求1所述的客户数据清洗方法，其特征在于，所述对所述原始客户数据集进行缺失值填充及去异常值处理，得到初始客户数据集，包括：

判断所述原始客户数据集是否存在缺失值，当所述原始客户数据集存在缺失值时，对所述原始客户数据集进行数据填充；

判断所述原始客户数据集是否存在异常值，当所述原始客户数据集存在异常值时，删除所述原始客户数据集包含的异常值。

3.如权利要求2所述的客户数据清洗方法，其特征在于，所述判断所述原始客户数据集是否存在异常值，包括：

计算所述原始客户数据集中邻近数据的局部可达密度比值；

在所述局部可达密度比值小于或等于预设比值时，确定所述原始客户数据为异常值。

4.如权利要求3所述的客户数据清洗方法，其特征在于，所述计算所述原始客户数据集中邻近数据的局部可达密度比值，包括：

利用下述公式计算所述局部可达密度比值：

其中，N_k(q)为所述原始客户数据集，ld_k(q)为N_k(q)内的第q个客户数据，ld(p)为所述第q个客户数据的临近数据，k为N_k(q)中所述原始客户数据集中的数据个数，reach-distk(p，q)为p，q之间的距离。

5.如权利要求1至4中任意一项所述的客户数据清洗方法，其特征在于，所述利用预构建的关键数据提取模型对所述标准客户数据集进行数据提取，得到关键数据之前，还包括：

生成训练数据集和所述训练数据集对应的标准结果；

将所述训练数据集输入至所述关键数据提取模型进行特征提取，得到训练结果；

利用预设的损失函数对所述训练结果与标准结果进行损失值计算，得到损失值；

当所述损失值大于或等于预设的损失阈值，调整所述关键数据提取模型的参数，并返回将所述训练数据集输入至所述关键数据提取模型进行特征提取，得到训练结果的步骤；

当所述损失值小于所述损失阈值时，得到标准关键数据提取模型。

6.如权利要求5所述的客户数据清洗方法，其特征在于，所述利用预设的损失函数对所述训练结果与标准结果进行损失值计算，得到损失值，包括：利用下述公式计算损失值：

其中，为损失值，为所述训练结果，Y为所述标准结果，α表示误差因子。

7.如权利要求1所述的客户数据清洗方法，其特征在于，所述根据所述初始客户数据集生成对比矩阵，包括：

根据所述初始客户数据集中任意两个客户数据的数据长度，构建对应大小的空矩阵；

按照预设规则，将两个所述客户数据依次填入至所述空矩阵中，得到所述对比矩阵。