[发明专利]对内容样本进行聚类的方法和装置

说明书

本申请描述了对内容样本进行聚类的方法，包括：获取包括无标签的多个内容样本的数据集；使用彼此不同的多个聚类方法中对多个内容样本进行聚类，以确定在每个聚类方法下每个内容样本被聚类得到的类别的置信度分布中最高置信度对应的类别；针对每个内容样本，响应于确定：每个内容样本分别在所述多个聚类方法下被聚类成的所有最高置信度对应的类别是相同的，以及所述所有最高置信度均大于置信度阈值，则对所述每个内容样本标记标签以形成有标签的内容样本；利用有标签的内容样本和无标签的内容样本训练内容样本分类器，以得到经训练的内容样本分类器；利用经训练的内容样本分类器对待聚类的内容样本进行聚类以确定其类别。

技术领域

本公开涉及数据处理的技术领域，尤其涉及对内容样本进行聚类的方法和装置。

背景技术

目前，在对诸如图像数据样本、语音数据样本、文本数据样本这样的内容样本进行聚类时，通常采用两阶段的聚类方法。在第一阶段，利用编码器对内容样本提取特征，然后在第二阶段对提取的特征使用诸如K均值（K-means）算法这样的基础聚类算法进行聚类以得到各个样本的类别。然而，这样的聚类方法通常受限于编码器的特征提取能力而效果不佳，而且也无法端到端地获取内容样本的类别（即，直接根据内容样本获取内容样本的类别，而无需利用编码器对内容样本提取特征）。此外，使用的基础聚类算法本身也会影响聚类的准确性。

随着人工智能的发展，基于分类器的聚类方法可以实现端到端地获取内容样本的类别，但是要想训练出聚类准确性好的分类器却面临着很大困难，因为已知其准确类别的训练样本是严重不足的，而且获取这样的训练样本的过程同样受到编码器的特征提取能力和基础聚类算法本身的影响。也有一些研究尝试综合考虑多个基础聚类算法的聚类结果，但使用了简单的加权投票方式进行融合，效率极差。

发明内容

有鉴于此，本公开提供了确定训练集的方法和装置、训练内容样本分类器的方法和装置、以及对内容样本进行聚类的方法和装置，期望克服上面提到的部分或全部缺陷以及其它可能的缺陷。

根据本公开的第一方面，提供了一种对内容样本进行聚类的方法，包括：获取包括无标签的多个内容样本的数据集；使用彼此不同的多个聚类方法中的每个聚类方法对所述多个内容样本进行聚类，以确定在所述每个聚类方法下每个内容样本被聚类得到的类别的置信度分布中最高置信度对应的类别；针对所述多个内容样本的每个内容样本，响应于确定：所述每个内容样本分别在所述多个聚类方法下被聚类成的所有最高置信度对应的类别是相同的，以及所述所有最高置信度均大于置信度阈值，则对所述每个内容样本标记标签以形成有标签的内容样本，其中所述标签指示所述有标签的内容样本的针对多个类别中的每个类别的置信度，所述多个类别与内容样本分类器的输出相对应；利用所述数据集中的有标签的内容样本和无标签的内容样本训练所述内容样本分类器，以得到经训练的内容样本分类器；利用经训练的内容样本分类器对待聚类的内容样本进行聚类，以确定所述待聚类的内容样本的类别。

在一些实施例中，所述方法还包括：响应于在使用所述多个聚类方法中的每两个聚类方法中的第一聚类方法聚类成的所有类别中，所述每个内容样本被聚类成的最高置信度对应的类别与在使用所述每两个聚类方法中的第二聚类方法时所述每个内容样本被聚类成的最高置信度对应的类别之间具有最多数量的相同内容样本，则确定所述每个内容样本分别在所述多个聚类方法下被聚类成的所有最高置信度对应的类别是相同的。

在一些实施例中，对所述每个内容样本标记标签包括：确定在所述多个聚类方法下所述每个内容样本分别被聚类成的类别的最高置信度的平均值，并将最高置信度对应的类别在标签中的第一置信度标记为所述平均值，以及标记最高置信度对应的类别之外的其它类别中的每个类别在标签中的第二置信度，使得所述第一置信度与所有第二置信度的和为1。

在一些实施例中，对所述每个内容样本标记标签包括：将最高置信度对应的类别在标签中的第一置信度标记为1，以及将最高置信度对应的类别之外的其它类别中的每个类别在标签中的第二置信度分别标记为0。