[发明专利]神经网络的训练方法、训练装置和电子设备在审
| 申请号: | 201910507780.1 | 申请日: | 2019-06-12 |
| 公开(公告)号: | CN112085041A | 公开(公告)日: | 2020-12-15 |
| 发明(设计)人: | 徐麟;孙瀚;陈志远 | 申请(专利权)人: | 北京地平线机器人技术研发有限公司 |
| 主分类号: | G06K9/62 | 分类号: | G06K9/62;G06N3/04 |
| 代理公司: | 北京彩和律师事务所 11688 | 代理人: | 刘磊;闫桑田 |
| 地址: | 100080 北京*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 神经网络 训练 方法 装置 电子设备 | ||
1.一种神经网络的训练方法,包括:
通过神经网络从一批样本获得样本距离矩阵,所述样本距离矩阵包括所述一批样本中的同类样本距离和异类样本距离;
计算出与所述样本距离矩阵对应的最优传输规划矩阵;
基于所述样本距离矩阵与所述最优传输规划矩阵的乘积的加权之和,确定最优传输损失函数值;以及
基于所述最优传输损失函数值更新所述神经网络和所述最优传输规划矩阵的参数。
2.如权利要求1所述的神经网络的训练方法,其中,通过神经网络从一批样本获得样本距离矩阵包括:
通过所述神经网络从所述一批样本获得同类样本距离矩阵;
通过所述神经网络从所述一批样本获得异类样本距离矩阵;以及
逐元素合并所述同类样本距离矩阵和所述异类样本距离矩阵以获得样本距离矩阵。
3.如权利要求2所述的神经网络的训练方法,其中,
所述同类样本距离是第一幂函数,所述第一幂函数的底数是自然常数,且所述第一幂函数的指数是缩放参数与样本间的欧氏距离的乘积;以及
所述异类样本距离是第二幂函数,所述第二幂函数的底数是自然常数,所述第二幂函数的指数是所述缩放参数与样本间的欧氏距离的铰链损失值的乘积。
4.如权利要求1所述的神经网络的训练方法,其中,基于所述样本距离矩阵与所述最优传输规划矩阵的乘积的加权和计算最优传输损失函数值包括:
将用于表示一对样本间的相似性的二元标签作为用于计算所述加权和的权重;以及
基于所述权重来对所述样本距离矩阵与所述最优传输规划矩阵的乘积加权以获得所述最优传输损失函数值。
5.如权利要求4所述的神经网络的训练方法,其中,基于所述最优传输损失函数值更新所述神经网络和所述最优传输规划矩阵的参数包括:
基于所述最优传输损失函数值通过梯度下降的方式更新所述神经网络。
6.如权利要求5所述的神经网络的训练方法,其中,基于所述最优传输损失函数值通过梯度下降的方式更新所述神经网络包括:
计算所述最优传输规划矩阵与其对应的特征差值以及所述权重的差值的乘积;
将所述乘积对于所述多个样本求和以计算出所述最优传输损失函数值的梯度;以及
基于所述梯度通过梯度下降的方式更新所述神经网络。
7.如权利要求1所述的神经网络的训练方法,其中,通过神经网络从一批样本获得样本距离矩阵包括:
通过深度神经网络从所述一批样本获得特征图;以及
通过深度矩阵学习网络从所述特征图获得所述样本距离矩阵。
8.如权利要求1所述的神经网络的训练方法,其中,所述一批样本包括二维图像、二维手绘草图和三维物体形状中的至少一个。
9.一种神经网络的训练装置,包括:
距离矩阵获得单元,用于通过神经网络从一批样本获得样本距离矩阵,所述样本距离矩阵包括所述一批样本中的同类样本距离和异类样本距离;
传输矩阵获得单元,用于计算出与所述距离矩阵获得单元所获得的所述样本距离矩阵对应的最优传输规划矩阵;
损失函数确定单元,用于基于所述距离矩阵获得单元所获得的所述样本距离矩阵与所述传输矩阵获得单元所获得的所述最优传输规划矩阵的乘积的加权之和,确定最优传输损失函数值;以及
参数更新单元,用于基于所述损失函数确定单元所确定的所述最优传输损失函数值更新所述神经网络和所述最优传输规划矩阵的参数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京地平线机器人技术研发有限公司,未经北京地平线机器人技术研发有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910507780.1/1.html,转载请声明来源钻瓜专利网。





