[发明专利]对象识别模型的训练方法及装置在审
| 申请号: | 201911082558.8 | 申请日: | 2019-11-07 |
| 公开(公告)号: | CN112784953A | 公开(公告)日: | 2021-05-11 |
| 发明(设计)人: | 赵东悦;温东超;李献;邓伟洪;胡佳妮 | 申请(专利权)人: | 佳能株式会社;北京邮电大学 |
| 主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/08;G06K9/62 |
| 代理公司: | 中国贸促会专利商标事务所有限公司 11038 | 代理人: | 宿小猛 |
| 地址: | 日本*** | 国省代码: | 暂无信息 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 对象 识别 模型 训练 方法 装置 | ||
1.一种用于对象识别的神经网络模型的优化装置,其特征在于,包括:
损失确定单元,被配置为对于利用所述神经网络模型从训练图像集中提取的特征和带有权重函数的损失函数确定损失数据,以及
更新单元,被配置为基于所述损失数据和更新函数来执行神经网络模型的参数的更新操作,
其中,所述更新函数是基于所述神经网络模型的带有权重函数的损失函数推导而得到的,所述权重函数与所述损失函数在特定取值区间中同向地单调变化。
2.根据权利要求1所述的装置,其中,所述权重函数和所述损失函数都是角度的函数,其中,所述角度为映射到超球面流形上的所提取的特征与神经网络模型的全连接层中的特定权重向量之间的夹角,并且其中,所述特定取值区间为特定角度取值区间。
3.根据权利要求2所述的装置,其中,所述特定角度取值区间是[0,π/2],并且所述权重函数与所述损失函数在所述特定角度取值区间中同向地单调平滑变化。
4.根据权利要求2所述的装置,其中,所述损失函数为所述夹角的余弦函数。
5.根据权利要求1所述的装置,其中,所述损失函数包括类内角度损失函数,其中,所述类内角度为映射到超球面流形上的所提取的特征与神经网络模型的全连接层中表示真值对象的权重向量之间的夹角,并且
其中,所述更新函数是基于所述类内角度损失函数与所述类内角度的权重函数确定的。
6.根据权利要求1所述的装置,其中,所述类内角度损失函数是取负的类内角度的余弦函数,并且所述类内角度的权重函数是非负的在特定取值区间上随着角度增大而平滑单调递增的函数。
7.根据权利要求1所述的装置,其中,所述取值区间是[0,π/2],并且所述类内角度的权重函数在0附近具有水平截止点。
8.根据权利要求1所述的装置,其中,所述损失函数进一步包括类间角度损失函数,并且其中,所述类间角度为映射到超球面流形上的所提取的特征与神经网络模型的全连接层中的其它权重向量之间的夹角,并且
其中,所述更新函数是基于所述类间角度损失函数与所述类间角度的权重函数确定的。
9.根据权利要求1所述的装置,其中,所述类间角度损失函数是类间角度的余弦函数的总和,并且所述类间角度的权重函数是非负的在特定取值区间上随着角度增大而平滑单调递减的函数。
10.根据权利要求1所述的装置,其中,所述取值区间是[0,π/2],并且所述类内角度的权重函数在π/2附近具有水平截止点。
11.根据权利要求1所述的装置,其中,所述更新函数是基于所述损失函数的偏导数与所述权重函数的。
12.根据权利要求1所述的装置,其中,所述更新单元进一步配置为将所述损失函数的偏导数与所述权重函数进行乘积以确定更新梯度,以用于对神经网络模型进行更新。
13.根据权利要求12所述的装置,其中,所述更新单元进一步配置为利用反向传播方法和所确定的更新梯度来更新神经网络模型的参数。
14.根据权利要求1所述的装置,其中,在所述神经网络模型被更新之后,所述损失确定单元和所述更新单元将利用更新后的神经网络模型进行操作。
15.根据权利要求1所述的装置,其中,所述更新单元被配置为在所确定的损失数据大于阈值且所述损失确定单元和所述更新单元所进行的迭代操作的次数未达到预定迭代次数时,利用所确定的更新梯度进行更新。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于佳能株式会社;北京邮电大学,未经佳能株式会社;北京邮电大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911082558.8/1.html,转载请声明来源钻瓜专利网。





