[发明专利]迁移学习方法、装置、计算机设备和存储介质有效
申请号: | 201810345254.5 | 申请日: | 2018-04-17 |
公开(公告)号: | CN108805160B | 公开(公告)日: | 2020-03-24 |
发明(设计)人: | 韩茂琨;王健宗;肖京 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G06K9/62 | 分类号: | G06K9/62 |
代理公司: | 深圳市明日今典知识产权代理事务所(普通合伙) 44343 | 代理人: | 王杰辉 |
地址: | 518000 广东省深*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 迁移 学习方法 装置 计算机 设备 存储 介质 | ||
1.一种应用于迁移学习网络的迁移学习方法,其特征在于,迁移学习网络包括共用同一特征提取层的任务训练网络和域分类网络,任务训练网络还包括任务训练模型,域分类网络还包括域分类器,所述方法包括:
将指定任务的标注数据输入所述任务训练模型进行模型训练,以获取到特征提取层的第一参数;
锁定所述第一参数,将未标注数据和所述标注数据混合输入所述域分类网络,以获取到所述域分类器区分所述未标注数据和所述标注数据的第二参数;
锁定所述第二参数,所述域分类器联合所述任务训练模型共同训练所述特征提取层,以获取所述特征提取层不区分所述未标注数据和所述标注数据的第三参数;
基于所述第三参数,将所述特征提取层根据所述标注数据训练得到的训练结果迁移至所述未标注数据,对所述未标注数据进行识别。
2.根据权利要求1所述的迁移学习方法,其特征在于,所述锁定所述第二参数,所述域分类器联合所述任务训练模型共同训练所述特征提取层,以获取所述特征提取层不区分所述未标注数据和所述标注数据的第三参数的步骤,包括:
通过所述域分类器的交叉熵LOSS函数联合所述任务训练模型的交叉熵LOSS函数共同反传训练所述特征提取层,以获取所述特征提取层不区分所述未标注数据和所述标注数据的第三参数。
3.根据权利要求2所述的迁移学习方法,其特征在于,所述通过所述域分类器的交叉熵LOSS函数联合所述任务训练模型的交叉熵LOSS函数共同反传训练所述特征提取层,以获取所述特征提取层不区分所述未标注数据和所述标注数据的第三参数的步骤,包括:
修改所述域分类器的交叉熵LOSS函数,修改后的LOSS函数为:LOSS=-(log2P)2-[log(2-2P)]2,其中P为二分类数据中的某一分类的标定;
锁定所述第二参数,将修改后的所述域分类器的LOSS函数和所述任务训练模型的LOSS函数相加得到LOSS函数之和;
通过所述LOSS函数之和梯度反向传播训练所述特征提取层;
训练至所述LOSS函数之和达到预设值时,确定所述第三参数。
4.根据权利要求1-3任一项所述的迁移学习方法,其特征在于,所述锁定所述第二参数,所述域分类器联合所述任务训练模型共同训练所述特征提取层,以获取所述特征提取层不区分所述未标注数据和所述标注数据的第三参数的步骤之后,包括:
优化训练过程中的学习率和梯度比例;
依次迭代所述第一参数、第二参数以及第三参数的训练过程指定次数,以获得所述迁移学习网络的所述特征提取层的优化参数以及所述域分类器的优化参数。
5.根据权利要求4所述的迁移学习方法,其特征在于,标注人脸图像数据为所述标注数据,指定种类动物的脸部数据为所述未标注数据,所述指定任务为人脸识别任务;所述依次迭代所述第一参数、第二参数以及第三参数的训练过程指定次数,以获得所述迁移学习网络的所述特征提取层的优化参数以及所述域分类器的优化参数的步骤之后,包括:
锁定所述迁移学习网络中所述特征提取层的优化参数、所述域分类器的优化参数以及所述人脸识别任务的识别模型参数,将所述标注人脸数据和未标注指定种类动物的数据混合输入所述迁移学习网络进行迁移学习;
输出所述指定种类动物的标注数据。
6.一种迁移学习装置,其特征在于,迁移学习网络包括共用同一特征提取层的任务训练网络和域分类网络,任务训练网络还包括任务训练模型,域分类网络还包括域分类器,所述装置包括:
第一输入模块,用于将指定任务的标注数据输入所述任务训练模型,以获取到特征提取层的第一参数;
第二输入模块,用于锁定所述第一参数,将未标注数据和所述标注数据混合输入所述域分类网络,以获取到所述域分类器区分所述未标注数据和所述标注数据的第二参数;
训练模块,用于锁定所述第二参数,所述域分类器联合所述任务训练模型共同训练所述特征提取层,以获取所述特征提取层不区分所述未标注数据和所述标注数据的第三参数;
迁移模块,用于基于所述第三参数,将所述特征提取层根据所述标注数据训练得到的训练结果迁移至所述未标注数据,对所述未标注数据进行识别。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810345254.5/1.html,转载请声明来源钻瓜专利网。