[发明专利]数据清洗方法及装置、计算机设备和介质

权利要求书

1.一种数据清洗方法，包括：

获取多个待清洗数据，其中，所述多个待清洗数据中每个待清洗数据具有对应的类别标签；

针对所述多个待清洗数据中每个待清洗数据，执行以下操作：

在所述多个待清洗数据中除去该待清洗数据的剩余待清洗数据中确定与该待清洗数据相似的一个或多个召回数据；以及

针对所述一个或多个召回数据中每个召回数据，响应于该召回数据所对应的类别标签与该待清洗数据所对应的类别标签不一致，将该召回数据与该待清洗数据确定为纠缠数据对；以及

对基于所述多个待清洗数据所确定的一个或多个纠缠数据对中的至少一个纠缠数据对进行清洗处理。

2.根据权利要求1所述的方法，其中，所述在所述多个待清洗数据中除去该待清洗数据的剩余待清洗数据中确定与该待清洗数据相似的一个或多个召回数据包括：

获取所述多个待清洗数据中每个待清洗数据的特征向量；以及

基于所述多个待清洗数据的特征向量，确定与该待清洗数据相似的一个或多个召回数据。

3.根据权利要求2所述的方法，其中，所述获取所述多个待清洗数据中每个待清洗数据的特征向量包括：

响应于确定该待清洗数据为文本，获取该待清洗数据的句向量。

4.根据权利要求2或3所述的方法，还包括：

在基于所述多个待清洗数据的特征向量，确定与该待清洗数据相似的一个或多个召回数据之前，对所述多个待清洗数据的特征向量执行归一化处理。

5.根据权利要求2至4中任一项所述的方法，其中，所述基于所述多个待清洗数据的特征向量，确定与该待清洗数据相似的一个或多个召回数据包括：

基于相应的特征向量，生成所述多个待清洗数据中每个待清洗数据的向量索引；以及

基于相应的向量索引，在所述多个待清洗数据中搜索与该待清洗数据相似的一个或多个召回数据。

6.根据权利要求5所述的方法，其中，所述在所述多个待清洗数据中搜索与该待清洗数据相似的一个或多个召回数据包括：

在所述多个待清洗数据中执行基于GPU的并行搜索，以得到与该待清洗数据相似的一个或多个召回数据。

7.根据权利要求1所述的方法，其中，所述对基于所述多个待清洗数据所确定的一个或多个纠缠数据对中的至少一个纠缠数据对进行清洗处理包括：

确定一个或多个纠缠数据对中每个纠缠数据对的纠缠程度；

根据每个纠缠数据对的纠缠程度，从一个或多个纠缠数据对中确定所述至少一个纠缠数据对；以及

对所述至少一个纠缠数据对进行清洗处理。

8.根据权利要求7所述的方法，其中，每个纠缠数据对的纠缠程度为根据余弦相似度来确定的。

9.根据权利要求1所述的方法，其中，所述对基于所述多个待清洗数据所确定的一个或多个纠缠数据对中的至少一个纠缠数据对进行清洗处理包括：

针对一个或多个纠缠数据对中的每个纠缠数据对，基于该纠缠数据对中的两个待清洗数据所分别对应的类别标签，从所述一个或多个纠缠数据对中除去该纠缠数据对的剩余纠缠数据对中确定该纠缠数据对的至少一个相关纠缠数据对，其中，每个相关纠缠数据对所对应的两个类别标签的组合与该纠缠数据对所对应的两个类别标签的组合相同；

至少基于相应的相关纠缠数据对的数量，从一个或多个纠缠数据对中确定至少一个纠缠数据对；以及

对所述至少一个纠缠数据对进行清洗处理。