[发明专利]迁移训练方法、装置、设备、存储介质及程序产品有效
| 申请号: | 202210436862.3 | 申请日: | 2022-04-25 |
| 公开(公告)号: | CN114548382B | 公开(公告)日: | 2022-07-15 |
| 发明(设计)人: | 徐列 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
| 主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/08;G06N20/00 |
| 代理公司: | 北京三高永信知识产权代理有限责任公司 11138 | 代理人: | 李文静 |
| 地址: | 518057 广东省深圳*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 迁移 训练 方法 装置 设备 存储 介质 程序 产品 | ||
1.一种迁移训练方法,其特征在于,所述方法包括:
获取源数据集和目标数据集,所述源数据集中存储有源数据,所述目标数据集中存储有目标数据;
基于至少两个特征提取网络构建得到迁移模型,所述至少两个特征提取网络由所述源数据训练得到,所述迁移模型中包括独立提取网络和共享提取网络,所述独立提取网络包括结构相同且并行的第一独立提取网络和第二独立提取网络;其中,所述第一独立提取网络用于对所述源数据进行特征提取,所述第二独立提取网络用于对所述目标数据进行特征提取;所述共享提取网络用于对所述独立提取网络的特征提取结果进行综合分析;
通过所述源数据与所述目标数据对所述迁移模型进行训练,得到目标模型,所述目标模型用于将所述源数据集对应的至少两个特征提取网络的学习模式进行调整后,迁移至对所述目标数据的分析过程中。
2.根据权利要求1所述的方法,其特征在于,所述基于至少两个特征提取网络构建得到迁移模型,包括:
基于所述至少两个特征提取网络的排列次序,从最后一个特征提取网络开始,向前选取至少一个特征提取网络得到所述共享提取网络;
将所述至少两个特征提取网络中除所述共享提取网络之外的特征提取网络作为候选独立提取网络;
将所述候选独立提取网络作为所述第一独立提取网络或者所述第二独立提取网络,构建得到所述独立提取网络。
3.根据权利要求2所述的方法,其特征在于,
当所述候选独立提取网络实现为所述第一独立提取网络时,所述第二独立提取网络由所述第一独立提取网络复制得到;或者,
当所述候选独立提取网络实现为所述第二独立提取网络时,所述独立提取网络中的第一独立提取网络由所述第二独立提取网络复制得到。
4.根据权利要求2所述的方法,其特征在于,所述从最后一个特征提取网络开始,向前选取至少一个特征提取网络得到所述共享提取网络,包括:
基于所述至少两个特征提取网络的排列次序,固定所述至少两个特征提取网络中的后m个特征提取网络的网络参数,其中,m为正整数;
以所述目标数据集中的目标数据,对所述至少两个特征提取网络中除后m个特征提取网络以外的特征提取网络进行训练,得到训练预测结果;
响应于所述训练预测结果与所述目标数据对应标注的目标数据标签之间的差异值符合训练条件,确定后m个特征提取网络组成的所述共享提取网络。
5.根据权利要求1至4任一所述的方法,其特征在于,所述迁移模型还包括对所述源数据和所述目标数据进行分类的分类模块;
所述通过所述源数据与所述目标数据对所述迁移模型进行训练,得到目标模型,包括:
将所述源数据与所述目标数据通过所述迁移模型,确定所述源数据对应的源数据损失值以及所述目标数据对应的目标数据损失值;
以所述迁移模型中的分类模块,对所述源数据以及所述目标数据进行分类预测,确定分类损失值;
基于所述源数据损失值、所述目标数据损失值以及所述分类损失值,对所述迁移模型进行训练,得到所述目标模型。
6.根据权利要求5所述的方法,其特征在于,所述基于所述源数据损失值、所述目标数据损失值以及所述分类损失值,对所述迁移模型进行训练,得到所述目标模型,包括:
将所述分类损失值与预设负值参数相乘,得到用于进行反向传播操作的传播损失值;
基于所述传播损失值,对所述迁移模型对应的参数进行第一调整,确定参数调整结果;
基于所述源数据损失值、所述目标数据损失值以及所述参数调整结果,对所述迁移模型进行第二调整,得到所述目标模型。
7.根据权利要求6所述的方法,其特征在于,所述基于所述源数据损失值、所述目标数据损失值以及所述参数调整结果,对所述迁移模型进行第二调整,得到所述目标模型,包括:
基于所述源数据损失值、所述目标数据损失值以及所述参数调整结果,对所述迁移模型进行调整,得到候选目标模型;
以所述目标数据集中的目标数据对所述候选目标模型的模型参数进行第二调整,得到所述目标模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210436862.3/1.html,转载请声明来源钻瓜专利网。





