[发明专利]迁移训练方法、装置、设备、存储介质及程序产品有效

专利信息
申请号: 202210436862.3 申请日: 2022-04-25
公开(公告)号: CN114548382B 公开(公告)日: 2022-07-15
发明(设计)人: 徐列 申请(专利权)人: 腾讯科技(深圳)有限公司
主分类号: G06N3/04 分类号: G06N3/04;G06N3/08;G06N20/00
代理公司: 北京三高永信知识产权代理有限责任公司 11138 代理人: 李文静
地址: 518057 广东省深圳*** 国省代码: 广东;44
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 迁移 训练 方法 装置 设备 存储 介质 程序 产品
【权利要求书】:

1.一种迁移训练方法,其特征在于,所述方法包括:

获取源数据集和目标数据集,所述源数据集中存储有源数据,所述目标数据集中存储有目标数据;

基于至少两个特征提取网络构建得到迁移模型,所述至少两个特征提取网络由所述源数据训练得到,所述迁移模型中包括独立提取网络和共享提取网络,所述独立提取网络包括结构相同且并行的第一独立提取网络和第二独立提取网络;其中,所述第一独立提取网络用于对所述源数据进行特征提取,所述第二独立提取网络用于对所述目标数据进行特征提取;所述共享提取网络用于对所述独立提取网络的特征提取结果进行综合分析;

通过所述源数据与所述目标数据对所述迁移模型进行训练,得到目标模型,所述目标模型用于将所述源数据集对应的至少两个特征提取网络的学习模式进行调整后,迁移至对所述目标数据的分析过程中。

2.根据权利要求1所述的方法,其特征在于,所述基于至少两个特征提取网络构建得到迁移模型,包括:

基于所述至少两个特征提取网络的排列次序,从最后一个特征提取网络开始,向前选取至少一个特征提取网络得到所述共享提取网络;

将所述至少两个特征提取网络中除所述共享提取网络之外的特征提取网络作为候选独立提取网络;

将所述候选独立提取网络作为所述第一独立提取网络或者所述第二独立提取网络,构建得到所述独立提取网络。

3.根据权利要求2所述的方法,其特征在于,

当所述候选独立提取网络实现为所述第一独立提取网络时,所述第二独立提取网络由所述第一独立提取网络复制得到;或者,

当所述候选独立提取网络实现为所述第二独立提取网络时,所述独立提取网络中的第一独立提取网络由所述第二独立提取网络复制得到。

4.根据权利要求2所述的方法,其特征在于,所述从最后一个特征提取网络开始,向前选取至少一个特征提取网络得到所述共享提取网络,包括:

基于所述至少两个特征提取网络的排列次序,固定所述至少两个特征提取网络中的后m个特征提取网络的网络参数,其中,m为正整数;

以所述目标数据集中的目标数据,对所述至少两个特征提取网络中除后m个特征提取网络以外的特征提取网络进行训练,得到训练预测结果;

响应于所述训练预测结果与所述目标数据对应标注的目标数据标签之间的差异值符合训练条件,确定后m个特征提取网络组成的所述共享提取网络。

5.根据权利要求1至4任一所述的方法,其特征在于,所述迁移模型还包括对所述源数据和所述目标数据进行分类的分类模块;

所述通过所述源数据与所述目标数据对所述迁移模型进行训练,得到目标模型,包括:

将所述源数据与所述目标数据通过所述迁移模型,确定所述源数据对应的源数据损失值以及所述目标数据对应的目标数据损失值;

以所述迁移模型中的分类模块,对所述源数据以及所述目标数据进行分类预测,确定分类损失值;

基于所述源数据损失值、所述目标数据损失值以及所述分类损失值,对所述迁移模型进行训练,得到所述目标模型。

6.根据权利要求5所述的方法,其特征在于,所述基于所述源数据损失值、所述目标数据损失值以及所述分类损失值,对所述迁移模型进行训练,得到所述目标模型,包括:

将所述分类损失值与预设负值参数相乘,得到用于进行反向传播操作的传播损失值;

基于所述传播损失值,对所述迁移模型对应的参数进行第一调整,确定参数调整结果;

基于所述源数据损失值、所述目标数据损失值以及所述参数调整结果,对所述迁移模型进行第二调整,得到所述目标模型。

7.根据权利要求6所述的方法,其特征在于,所述基于所述源数据损失值、所述目标数据损失值以及所述参数调整结果,对所述迁移模型进行第二调整,得到所述目标模型,包括:

基于所述源数据损失值、所述目标数据损失值以及所述参数调整结果,对所述迁移模型进行调整,得到候选目标模型;

以所述目标数据集中的目标数据对所述候选目标模型的模型参数进行第二调整,得到所述目标模型。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202210436862.3/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top