[发明专利]一种基于度量距离损失框架的半监督学习方法、设备及存储介质在审
申请号: | 202011297013.1 | 申请日: | 2020-11-18 |
公开(公告)号: | CN112348109A | 公开(公告)日: | 2021-02-09 |
发明(设计)人: | 刘半藤;郑启航;陈唯;王章权;陈友荣 | 申请(专利权)人: | 浙江树人学院(浙江树人大学) |
主分类号: | G06K9/62 | 分类号: | G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 绍兴市寅越专利代理事务所(普通合伙) 33285 | 代理人: | 胡国平 |
地址: | 312303 浙江省绍*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 度量 距离 损失 框架 监督 学习方法 设备 存储 介质 | ||
1.一种基于度量距离损失框架的半监督学习方法,其特征在于:包括:
S101、将分类损失、一致性损失、熵最小损失进行形式转换,并在转换后的一致性损失中加入伪标签作为类别信息,得到伪标签一致性损失,将转换后的分类损失、伪标签一致性损失、熵最小损失进行合成得到统一的半监督损失函数;
S102、对统一后的半监督损失函数中核心的优化目标进行修正,添加自适应相似度权重、间距系数和缩放因子;
S103、构建半监督神经网络模型,利用统一的半监督损失函数与梯度下降法优化神经网络模型参数;
S104、对未知样本输入优化后的神经网络模型参数得到分类结果。
2.根据权利要求1所述的一种基于度量距离损失框架的半监督学习方法,其特征在于:所述步骤S101具体包括:
S1011、定义数据集样本与标签x,y,定义半监督模型为f=p(y|x,θ),其中f为模型所输出的嵌入向量;
S1012、定义半监督模型分类损失为:
式(1)中,wj∈[0,C]表示类别C所对应的分类权重向量,C为数据集对应类别总数,yi为当前样本所对应的标签索引;
S1013、定义数据集中无标签样本为u,使用Pesudo-label方法计算无标签样本嵌入向量的伪标签:
S1014、利用伪标签yi′与无标签样本输出定义半监督熵最小化损失:
S1015、利用数据增强方法定义半监督一致性损失;
式(4)中,是原始样本经过数据增强器Augment(x)数据增强后样本的嵌入向量;
S1016、将步骤S1012至步骤S1015中所提及的嵌入向量f与模型分类权重向量wj进行归一化norm,以进行后续转换:norm转换公式为:
S1017、其中模型输出嵌入向量与对应类别分类权重向量的内积为利用步骤S1016中的归一化公式进行归一化后,得到对于不同类别的嵌入向量进行归一化后得到定义其中为内类相似度,Sn为类间相似度;
S1018、利用内类相似度Sp与类间相似度Sn的概念,首先将半监督模型分类损失转换为基于相似度度量差值的形式,转换后分类损失的优化目标为min(Sn-Sp),转换过程为:
S1019、采用与步骤S1018相同的方法将半监督模型熵最小化分类损失转换为基于相似度度量差值的形式:
S1020、由于半监督模型的一致性损失本身即根据度量差值进行构建,因此将原本的向量内积转换为相似度后进行差值得到新的一致性损失:
S1021、转换后的模型一致性损失虽然基于相似度度量差值进行构建,但其形式与分类损失、熵最小形式并不一致,因此为其添加伪标签信息,将数据增强后的嵌入向量相似度与同一样本数据增强前的嵌入向量相似度S′p计算交叉熵作为伪标签一致性损失:
S1022、将伪标签一致性损失、分类损失、熵最小损失进行合并,得到统一的半监督损失框架:
Sp={Sp,S′p} (12)。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江树人学院(浙江树人大学),未经浙江树人学院(浙江树人大学)许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011297013.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种圆木修整装置
- 下一篇:模型训练及图像处理方法、装置、电子设备和存储介质