[发明专利]一种模型的训练方法、装置、存储介质及电子装置在审
申请号: | 202210407353.8 | 申请日: | 2022-04-19 |
公开(公告)号: | CN114511083A | 公开(公告)日: | 2022-05-17 |
发明(设计)人: | 彭垚;杨德城;林亦宁 | 申请(专利权)人: | 北京闪马智建科技有限公司 |
主分类号: | G06N3/08 | 分类号: | G06N3/08;G06N3/04 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 100095 北京市海淀区温泉*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 模型 训练 方法 装置 存储 介质 电子 | ||
1.一种模型的训练方法,其特征在于,包括:
基于初始网络模型中包括的第一初始模型的第一训练精度确定所述第一初始模型的第一评价指标,以及基于所述初始网络模型中包括的第二初始模型的第二训练精度确定所述第二初始模型的第二评价指标,其中,所述初始网络模型为经过训练得到的网络模型;
在所述第一评价指标以及所述第二评价指标中存在大于预定阈值的评价指标的情况下,将所述第一评价指标以及所述第二评价指标中包括的最小评价指标对应的初始模型确定为待优化的目标初始模型;
利用训练数据以及其他初始模型训练所述目标初始模型,得到目标网络模型,其中,所述其他初始模型为所述第一评价指标以及所述第二评价指标中包括的最大评价指标对应的初始模型。
2.根据权利要求1所述的方法,其特征在于,利用训练数据以及其他初始模型训练所述目标初始模型,得到目标网络模型包括:
将训练数据输入至所述其他初始模型中,确定所述其他初始模型输出的第一特征;
将所述训练数据以及所述第一特征输入至所述目标初始模型中,确定所述目标初始模型的第一损失值;
基于所述第一损失值迭代更新所述目标初始模型的网络参数,得到所述目标网络模型。
3.根据权利要求2所述的方法,其特征在于,将所述训练数据以及所述第一特征输入至所述目标初始模型中,确定所述目标初始模型的第一损失值包括:
确定所述第一特征中包括的每个特征层的第一子特征与所述目标初始模型输出的第二子特征之间的损失值,得到多个第二损失值,其中,所述第二子特征与所述第一子特征处于相同的特征层;
确定多个所述第二损失值的第一和值;
确定所述第二损失值对应的目标权重;
确定所述第一和值与所述目标权重的第一乘积;
基于所述目标初始模型输出的特征与所述其他初始模型输出的特征确定第三损失值;
将所述第一乘积与所述第三损失值的第二和值确定为所述第一损失值。
4.根据权利要求3所述的方法,其特征在于,确定所述第二损失值对应的目标权重包括:
确定所述目标初始模型的评价指标与第一参数的第二乘积;
确定所述第二乘积与第二参数的第一差值;
将所述第一差值与第三参数的比值确定为所述目标权重。
5.根据权利要求1所述的方法,其特征在于,在基于所述初始网络模型中包括的第二初始模型的第二训练精度确定所述第二初始模型的第二评价指标之后,所述方法还包括:
在所述第一评价指标以及所述第二评价指标均小于或等于预定阈值的情况下,将所述第一初始模型以及所述第二初始模型确定为所述目标初始模型;
利用训练数据迭代更新所述目标初始模型的网络参数,得到更新后的所述初始网络模型。
6.根据权利要求5所述的方法,其特征在于,利用训练数据迭代更新所述目标初始模型的网络参数,得到更新后的所述初始网络模型包括:
将所述训练数据输入至所述第一初始模型和所述第二初始模型中,基于所述第一初始模型输出的特征以及所述第二初始模型输出的特征确定所述初始网络模型的第四损失值;
基于所述第四损失值迭代更新所述第一初始模型以及所述第二初始模型的网络参数,得到更新后的所述初始网络模型。
7.根据权利要求1所述的方法,其特征在于,
基于初始网络模型中包括的第一初始模型的第一训练精度确定所述第一初始模型的第一评价指标包括:在所述初始网络模型为分类网络模型的情况下,将所述第一训练精度确定为所述第一评价指标;在所述初始网络模型为检测网络模型的情况下,确定所述第一训练精度与第四参数的第三和值,将所述第三和值与第五参数的比值确定为所述第一评价指标;
基于所述初始网络模型中包括的第二初始模型的第二训练精度确定所述第二初始模型的第二评价指标包括:在所述初始网络模型为分类网络模型的情况下,将所述第二训练精度确定为所述第二评价指标;在所述初始网络模型为检测网络模型的情况下,确定所述第二训练精度与第六参数的第四和值,将所述第四和值与第七参数的比值确定为所述第一评价指标。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京闪马智建科技有限公司,未经北京闪马智建科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210407353.8/1.html,转载请声明来源钻瓜专利网。