[发明专利]一种基于度量距离损失框架的半监督学习方法、设备及存储介质

说明书

本发明一种基于度量距离损失框架的半监督学习方法、设备及存储介质，S101、将分类损失、一致性损失、熵最小损失进行形式转换，并在转换后的一致性损失中加入伪标签作为类别信息，得到伪标签一致性损失，将转换后的分类损失、伪标签一致性损失、熵最小损失进行合成得到统一的半监督损失函数；S102、对统一后的半监督损失函数中核心的优化目标进行修正，添加自适应相似度权重、间距系数和缩放因子；S103、构建半监督神经网络模型，利用统一的半监督损失函数与梯度下降法优化神经网络模型参数；解决多任务下各个损失权重难以调节，优化方法不统一的问题。

技术领域

本发明属于本监督学习算法的技术领域，具体涉及一种基于度量距离损失框架的半监督学习方法、设备及存储介质。

背景技术

神经网络通过学习大量的标签样本训练智能模型，在多个领域中取得了较好的应用，其成功离不开越来越大的样本数据集。一般来说，标签样本集越大，训练所得的模型性能越好，而标记数据集对应的人工成本的消耗越大，为获得较大的样本数据集将会付出高昂的人工成本，特别是某些特定领域样本集(如医疗,工业，艺术)的标签必须由专家标注，其人工成本将进一步上升。

近年来，半监督学习(SSL)方法被广泛研究和关注，半监督学习通过构建适用于无标签样本的损失函数，使得模型的训练过程中仅需要少量标签样本和一定的无标签样本，可减轻对标记样本的需求。为获得具有较好泛化性的SSL模型，众多学者对如何改进SSL模型损失函数进行研究，SSL模型损失函数一般包括以下三种不同类型损失函数：1)分类交叉熵损失；2)熵最小化损失；3)一致性损失。近年来许多学者针对以上几种半监督学习损失函数进行进一步的研究，但均专注于提升以上损失函数中单一的部分进行优化，但半监督学习是多个损失函数的多任务学习的过程，需要构建共享模型参数下综合多种约束的损失函数，而此前方法未考虑不同任务损失函数间尺度差异的问题，会导致整体优化进程被某一个任务所主导，其他任务的损失无法影响网络共享层的学习过程，导致模型拟合效果较差。需要提出一种统一的损失函数框架，在不同任务指导同时优化模型参数，使模型总体最优。

发明内容

本发明克服现有技术存在的不足，所要解决的技术问题为：提供一种基于度量距离损失框架的半监督学习方法、设备及存储介质，解决多任务下各个损失权重难以调节、优化方法不统一的问题，提高建模的鲁棒性。

为了解决上述技术问题，本发明采用的技术方案为：一种基于度量距离损失框架的半监督学习方法，包括：

S101、将分类损失、一致性损失、熵最小损失进行形式转换，并在转换后的一致性损失中加入伪标签作为类别信息，得到伪标签一致性损失，将转换后的分类损失、伪标签一致性损失、熵最小损失进行合成得到统一的半监督损失函数；

S102、对统一后的半监督损失函数中核心的优化目标进行修正，添加自适应相似度权重、间距系数和缩放因子；

S103、构建半监督神经网络模型，利用统一的半监督损失函数与梯度下降法优化神经网络模型参数；

S104、对未知样本输入优化后的神经网络模型参数得到分类结果。

优选地，所述步骤S101具体包括：

S1011、定义数据集样本与标签x,y，定义半监督模型为f＝p(y|x,θ)，其中f为模型所输出的嵌入向量；

S1012、定义半监督模型分类损失为：

式(1)中，w_j∈[0,C]表示类别C所对应的分类权重向量，C为数据集对应类别总数，y_i为当前样本所对应的标签索引；

S1013、定义数据集中无标签样本为u，使用Pesudo-label方法计算无标签样本嵌入向量的伪标签：