[发明专利]神经网络的训练方法、训练装置和电子设备

说明书

公开了一种神经网络的训练方法、神经网络的训练装置和电子设备。该神经网络的训练方法包括：通过神经网络从一批样本获得样本距离矩阵，所述样本距离矩阵包括所述一批样本中的同类样本距离和异类样本距离；计算出与所述样本距离矩阵对应的最优传输规划矩阵；基于所述样本距离矩阵与所述最优传输规划矩阵的乘积的加权之和，确定最优传输损失函数值；以及，基于所述最优传输损失函数值更新所述神经网络和所述最优传输规划矩阵的参数。这样，通过对一批样本当中的难样本进行挖掘，提高了网络的训练的收敛速率和性能。

技术领域

本申请涉及深度学习领域，且更为具体地，涉及一种神经网络的训练方法，神经网络的训练装置和电子设备。

背景技术

在深度学习领域中，通过学习数据的语义嵌入度量，缩小数据类内差异(或距离)，使相似的同类样本聚集在一起，以及扩大数据类间差异(或距离)，使不相似的异类样本分开是物体识别任务的重要基础。

随着深度学习技术的迅速发展，深度度量学习近年来越来越受到重视。在深度度量学习中，通过端到端地训练深度神经网络，可以学习到复杂的高度非线性的数据深度特征表示(从输入空间到低维语义嵌入度量空间)。

深度度量学习到的深度特征表示和语义嵌入度量在视觉识别中有广泛的应用场景和优异的识别性能，例如，二维(2D)自然图像检索/分类、人脸识别、三维(3D)物体检索/分类、多源异构视觉感知数据跨模态检索(例如2D图像/视频、3D物体、文本数据之间的检索匹配)等。

因此，期望提供改进的神经网络的训练方案。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种神经网络的训练方法、神经网络的训练装置和电子设备，其使用区分同类样本和异类样本的样本距离矩阵及其对应的最优传输规划矩阵来构造最优传输损失函数值并以此训练神经网络，从而学习样本重要性驱动的距离度量，提高了网络训练的收敛速率。

根据本申请的一方面，提供了一种神经网络的训练方法，包括：通过神经网络从一批样本获得样本距离矩阵，所述样本距离矩阵包括所述一批样本中的同类样本距离和异类样本距离；计算出与所述样本距离矩阵对应的最优传输规划矩阵；基于所述样本距离矩阵与所述最优传输规划矩阵的乘积的加权之和，确定最优传输损失函数值；以及，基于所述最优传输损失函数值更新所述神经网络和所述最优传输规划矩阵的参数。

根据本申请的另一方面，提供了一种神经网络的训练装置，包括：距离矩阵获得单元，用于通过神经网络从一批样本获得样本距离矩阵，所述样本距离矩阵包括所述一批样本中的同类样本距离和异类样本距离；传输矩阵获得单元，用于计算出与所述距离矩阵获得单元所获得的所述样本距离矩阵对应的最优传输规划矩阵；损失函数确定单元，用于基于所述距离矩阵获得单元所获得的所述样本距离矩阵与所述传输矩阵获得单元所获得的所述最优传输规划矩阵的乘积的加权之和，确定最优传输损失函数值；以及，参数更新单元，用于基于所述损失函数确定单元所确定的所述最优传输损失函数值更新所述神经网络和所述最优传输规划矩阵的参数。

根据本申请的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的神经网络的训练方法。

根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的神经网络的训练方法。

本申请提供的神经网络的训练方法、神经网络的训练装置和电子设备使用包括一批样本中的同类样本距离和异类样本距离的样本距离矩阵来通过最优传输方法计算出最优传输规划矩阵，使得能够按照样本的重要性赋予难样本更高的权重，这样，通过基于最优传输规划矩阵构造最优传输损失函数并以此训练神经网络，可以使得神经网络能够学习到样本重要性驱动的距离度量，从而提高网络训练的收敛速率。

附图说明