[发明专利]数据筛选方法、装置、存储介质及电子设备

权利要求书

1.一种数据筛选方法，其特征在于，包括：

获取已标注类别的数据样本的样本标识，并获取对应所述样本标识的标识向量；

将已标注类别的类别数作为聚类类别数对所述标识向量进行聚类处理；

对于每一聚类类别，获取其聚类中心标识向量与非聚类中心标识向量的相似度；

确定出每一聚类类别中与聚类中心标识向量的相似度未达到预设相似度的目标非聚类中心标识向量；

滤除每一聚类类别中目标非聚类中心标识向量所对应的数据样本。

2.根据权利要求1所述的数据筛选方法，其特征在于，所述对于每一聚类类别，获取其聚类中心标识向量与非聚类中心标识向量的相似度，包括：

对于每一聚类类别，获取其聚类中心标识向量与非聚类中心标识向量的欧式距离；

将对应欧式距离小于第一预设欧式距离的非聚类中心标识向量作为第一类非聚类中心标识向量，以及将对应欧式距离大于或等于第一预设欧式距离的非聚类中心标识向量作为第二类非聚类中心标识向量；

获取聚类中心标识向量与第一类非聚类中心标识向量的相似度，以及并行获取聚类中心标识向量与第二类非聚类中心标识向量的相似度。

3.根据权利要求2所述的数据筛选方法，其特征在于，所述获取聚类中心标识向量与第二类非聚类中心标识向量的相似度，包括：

滤除对应欧式距离大于第二预设欧式距离的第二类非聚类中心标识向量，及其对应的数据样本，其中，所述第二预设欧式距离大于所述第一预设欧式距离；

获取聚类中心标识向量与剩余的第二类非聚类中心标识向量的相似度。

4.根据权利要求2所述的数据筛选方法，其特征在于，获取聚类中心标识向量与第一类非聚类中心标识向量的相似度，以及并行获取聚类中心标识向量与第二类非聚类中心标识向量的相似度，包括：

通过处理器的第一内核获取聚类中心标识向量与第一类非聚类中心标识向量的相似度，并行通过处理器的第二内核获取聚类中心标识向量与第二类非聚类中心标识向量的相似度。

5.根据权利要求1所述的数据筛选方法，其特征在于，所述获取对应所述样本标识的标识向量，包括：

调用预训练的Bert模型对所述样本标识进行向量化表征，得到对应所述样本标识的标识向量。

6.根据权利要求1所述的数据筛选方法，其特征在于，所述对于每一聚类类别，获取其聚类中心标识向量与非聚类中心标识向量的相似度，包括：

对于每一聚类类别，获取其聚类中心标识向量与非聚类中心标识向量的余弦相似度。

7.根据权利要求1-6任一项所述的数据筛选方法，其特征在于，所述滤除每一聚类类别中目标非聚类中心标识向量所对应的数据样本之后，还包括：

滤除每一聚类类别中已标注类别与聚类类别不匹配的非聚类中心标识向量所对应的数据样本。

8.一种数据筛选装置，其特征在于，包括：

样本获取模块，用于获取已标注类别的数据样本的样本标识，并获取对应所述样本标识的标识向量；

向量聚类模块，用于将已标注类别的类别数作为聚类类别数对所述标识向量进行聚类处理；

相似度量模块，用于对于每一聚类类别，获取其聚类中心标识向量与非聚类中心标识向量的相似度；

目标确定模块，用于确定出每一聚类类别中与聚类中心标识向量的相似度未达到预设相似度的目标非聚类中心标识向量；

样本过滤模块，用于滤除每一聚类类别中目标非聚类中心标识向量所对应的数据样本。

9.一种存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序被处理器调用时，使得所述处理器执行如权利要求1至7任一项所述的数据筛选方法。

10.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有计算机程序，且所述处理器通过调用所述计算机程序，用于执行如权利要求1至7任一项所述的数据筛选方法。