[发明专利]一种基于相似度的半监督学习数据分类算法

说明书

本发明公开了一种基于相似度的半监督学习数据分类算法，包括三个部分：无标记样本的k‑means聚类，半监督相似度计算，无标记样本的k‑means聚类与半监督相似度计算相结合来扩展量少类进行模型分类，再评估模型的分类效果。本发明并没有按照k=2的方式粗略的进行聚类，而是根据半监督学习中的平滑假设和聚类假设的原理确定了一套算法机制，通过度量量少类与聚类类别之间的相似度的方式确定k值，进而确定距离量少类最近的数据集合，并扩充到标记数据中。利用相似度高的未标记数据扩充了有标记数据，有效的改善了数据不平衡的问题，从而有效提升了量少类样本的召回率和F1值。

技术领域

本发明涉及一种新的数据分类算法，尤其是一种基于相似度的半监督学习数据分类算法。

背景技术

数据分类任务往往需要建立输入空间X到输出空间Y之间的映射关系f:X-Y。无论是二分类还是多分类任务，都需要大量的标记数据进行训练，这对监督数据的数量和质量都提出了要求。

通常，在学术研究中的公开数据集，一般拥有大量的数据标记样本，且样本的分布相对比较均匀，模型和方法的表现都较为理想。但是，在现实应用场景中，存在着数据的监督信息有限，数据的类别分布不平衡，数据的标记内容具有很强的领域性等问题。标注信息样本不仅少，且一些强领域性的样本标注成本很高，甚至无法准确标注。数据中的量多类与量少类比例失衡的程度可能达1000:1以上。传统的数据分类方式会通过牺牲量少类的召回率的方式来提高模型的准确率，而在某些场景中，量少类的召回率(Recall)才是关心的指标。

对于类别的数据分布不平衡的问题，一方面，可以通过调整数据分布的方式进行优化。主要是通过数据采样的方式，对量少类进行数据重采样或过采样，或者对量多类进行数据欠采样的方式进行优化。另一方面，可以通过改进模型算法的方式进行优化。比如通过代价敏感矩阵的方式，针对数据分布的特点，返回不同的损失，加强模型对于量少类的学习效果。对于监督数据少且强领域性的问题，可利用半监督学习的方法，主要有基于差异的方法，生成式的方法，判别式方法和基于图的方法来进行优化。

发明内容

发明目的：本发明针对有监督标记数据有限，标记数据类别不均衡以及标记内容领域性强的特定场景，提出一种新的数据分类算法——一种基于相似度的半监督学习数据分类算法。通过计算无标记数据与有标记数据相似度的方式扩充量少类集合，提高模型对于量少类的分类识别效果，提升量少类的召回率(Recall)和F1值。

技术方案：

一种基于相似度的半监督学习数据分类算法，包括三个部分：无标记样本的k-means聚类，半监督相似度计算，无标记样本的k-means聚类与半监督相似度计算相结合来扩展量少类进行模型分类，再评估模型的分类效果。

在进一步的实施例中，使用半监督方法对数据分类，将筛选出来的高价值量少类的未标记数据作为标记数据加入量少类进行训练。

在进一步的实施例中，还包括一种高价值量少类的数据分类框架，其主要步骤如下：

步骤(1)：原始数据的处理，将标记数据与未标记数据分离开来；

步骤(2)：基于k-means聚类的相似度收敛算法，对步骤(1)中分离出来的未标记数据进行聚类，k值由聚类结果与标记数据中的量少类的相似度计算结果确定，进而确定相似度最高的集合P'；

步骤(3)：将步骤2确定的集合P'扩充到标记数据P进行模型训练；

步骤(4)：通过召回率和F1值对步骤(1)的结果进行评价。