[发明专利]基于一致性训练的自监督领域自适应深度学习方法有效
申请号: | 201911372719.7 | 申请日: | 2019-12-27 |
公开(公告)号: | CN111144565B | 公开(公告)日: | 2020-10-27 |
发明(设计)人: | 许娇龙;肖良;朱琪;聂一鸣 | 申请(专利权)人: | 中国人民解放军军事科学院国防科技创新研究院 |
主分类号: | G06N3/08 | 分类号: | G06N3/08;G06N3/04;G06K9/62 |
代理公司: | 中国兵器工业集团公司专利中心 11011 | 代理人: | 刘瑞东 |
地址: | 100071 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 一致性 训练 监督 领域 自适应 深度 学习方法 | ||
1.基于一致性训练的自监督领域自适应深度学习图像分类方法,其特征在于,该方法包括:
S1:构建一个多任务学习深度神经网络,包含一个参数为θe的图像特征提取网E,参数为θm主分类网M,以及参数为θp的图像增强变换预测网P;
S2:将源域图像xs和其类别标签y组成分类任务训练集Ds={(xs,y)|y∈[0,C]},其中C是类别数;
S3:构建一组基于图像旋转的图像增强变换集合G={g(x,r)|r∈[0,R)},每一个图像增强变换g(x,r)对应一个变换类别标签r,采用三种不同角度旋转,即R=3,分别进行90°、180°和270°旋转,对应的变换标签为0,1和2;
S31:对源域图像xs应用图像增强变换得到源域自监督训练集以及源域一致性训练集
S32:对目标域样本xt应用数据增强变换得到目标域自监督训练集以及目标域一致性训练集
S4:将步骤S31中的源域自监督训练集和步骤S32中的目标域自监督训练集合并得到总的自监督训练集
S5:将步骤S31中的源域一致性训练集和步骤S32中的目标域一致性训练集合并得到总的一致性训练集Dc=Dcs∪Dct;
S6:针对步骤S2中分类任务训练集Ds以及步骤S1中的特征提取网E和主分类网M,构建有监督学习任务,其训练损失函数为:
S7:针对步骤S4中自监督学习训练集D*以及步骤S1中的特征提取网E和数据据增强变换预测网P,构建自监督学习任务,其训练损失函数为:
S8:针对步骤S5中一致性训练集Dc以及步骤S1中的特征提取网E和主分类网M,构建一致性学习任务,通过KL散度(Kullback-Leibler Divergence)距离构建其训练损失函数:
其中DKL为KL散度距离;
S9:将步骤S6、S7以及S8中的损失函数加权求和,得到总的训练损失函数:
Ltotal=LM+λ1LP+λ2LC (4)
其中λ1和λ2为加权系数,可通过交叉验证选取合适的值;
S10:通过最小化步骤S9中的损失函数Ltotal,得到训练后优化的参数θe、θp以及θm;
S11:对目标域测试图像,使用步骤S10中优化后的参数,通过公式
得到其预测的图像类别,实现深度学习模型在目标域上的领域自适应。
2.一种可读存储介质,该可读存储介质上存储有程序,其特征在于,当该程序被处理器执行时能够实现如权利要求1所述的基于一致性训练的自监督领域自适应深度学习图像分类方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国人民解放军军事科学院国防科技创新研究院,未经中国人民解放军军事科学院国防科技创新研究院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911372719.7/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种改性橡胶木制木瓦加工铺装工艺
- 下一篇:一种充电桩内的风机转速检测方法