[发明专利]基于一致性训练的自监督领域自适应深度学习方法有效

专利信息
申请号: 201911372719.7 申请日: 2019-12-27
公开(公告)号: CN111144565B 公开(公告)日: 2020-10-27
发明(设计)人: 许娇龙;肖良;朱琪;聂一鸣 申请(专利权)人: 中国人民解放军军事科学院国防科技创新研究院
主分类号: G06N3/08 分类号: G06N3/08;G06N3/04;G06K9/62
代理公司: 中国兵器工业集团公司专利中心 11011 代理人: 刘瑞东
地址: 100071 *** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 基于 一致性 训练 监督 领域 自适应 深度 学习方法
【权利要求书】:

1.基于一致性训练的自监督领域自适应深度学习图像分类方法,其特征在于,该方法包括:

S1:构建一个多任务学习深度神经网络,包含一个参数为θe的图像特征提取网E,参数为θm主分类网M,以及参数为θp的图像增强变换预测网P;

S2:将源域图像xs和其类别标签y组成分类任务训练集Ds={(xs,y)|y∈[0,C]},其中C是类别数;

S3:构建一组基于图像旋转的图像增强变换集合G={g(x,r)|r∈[0,R)},每一个图像增强变换g(x,r)对应一个变换类别标签r,采用三种不同角度旋转,即R=3,分别进行90°、180°和270°旋转,对应的变换标签为0,1和2;

S31:对源域图像xs应用图像增强变换得到源域自监督训练集以及源域一致性训练集

S32:对目标域样本xt应用数据增强变换得到目标域自监督训练集以及目标域一致性训练集

S4:将步骤S31中的源域自监督训练集和步骤S32中的目标域自监督训练集合并得到总的自监督训练集

S5:将步骤S31中的源域一致性训练集和步骤S32中的目标域一致性训练集合并得到总的一致性训练集Dc=Dcs∪Dct

S6:针对步骤S2中分类任务训练集Ds以及步骤S1中的特征提取网E和主分类网M,构建有监督学习任务,其训练损失函数为:

S7:针对步骤S4中自监督学习训练集D*以及步骤S1中的特征提取网E和数据据增强变换预测网P,构建自监督学习任务,其训练损失函数为:

S8:针对步骤S5中一致性训练集Dc以及步骤S1中的特征提取网E和主分类网M,构建一致性学习任务,通过KL散度(Kullback-Leibler Divergence)距离构建其训练损失函数:

其中DKL为KL散度距离;

S9:将步骤S6、S7以及S8中的损失函数加权求和,得到总的训练损失函数:

Ltotal=LM1LP2LC (4)

其中λ1和λ2为加权系数,可通过交叉验证选取合适的值;

S10:通过最小化步骤S9中的损失函数Ltotal,得到训练后优化的参数θe、θp以及θm

S11:对目标域测试图像,使用步骤S10中优化后的参数,通过公式

得到其预测的图像类别,实现深度学习模型在目标域上的领域自适应。

2.一种可读存储介质,该可读存储介质上存储有程序,其特征在于,当该程序被处理器执行时能够实现如权利要求1所述的基于一致性训练的自监督领域自适应深度学习图像分类方法。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国人民解放军军事科学院国防科技创新研究院,未经中国人民解放军军事科学院国防科技创新研究院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201911372719.7/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top