[发明专利]一种神经网络的训练方法和设备

说明书

本发明的实施方式提供了一种神经网络的训练方法。该方法包括：构建第一初始深度神经网络；利用第一训练数据对所述第一初始深度神经网络进行训练，以形成第一目标深度神经网络；其中，所述第一初始深度神经网络的输出层上包括第一输出节点和辅助节点，其中，每一所述第一输出节点分别对应所述第一初始深度神经网络的每一可输出对象，所述第一输出节点的数量等于所述第一初始深度神经网络的可输出对象的数量，所述辅助节点不对应所述第一初始深度网络的任何可输出对象。此外，本发明的实施方式提供了一种神经网络的训练设备。

技术领域

本发明的实施方式涉及数据处理技术领域，更具体地，本发明的实施方式涉及一种神经网络的训练方法和设备。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

许多计算机应用、网络服务应用都具有利用输入对象计算输出对象的数据处理需求。例如，在具有图像识别功能的应用中，图像作为输入对象，图像所属的图像标签作为输出对象，这些应用需要根据图像计算出图像所属的图像标签，从而实现图像识别。其中，图像标签表示图像划分的类别。

目前，在现有的数据处理技术中，利用输入对象计算输出对象的数据处理，可以采用神经网络来实现。具体地，神经网络可以为输入对象提供多个可输出对象，采用已知对应关系的输入对象与输出对象所组成的训练数据，对神经网络进行训练，以使得训练后的神经网络能够表示不同的输入对象与各可输出对象之间的对应关系，因此，将未知对应输出对象的输入对象输入到训练后的神经网络之后，训练后的神经网络通过计算就可以输出该输入对象对应的输出对象。

发明内容

发明人经过研究发现，现有技术中，神经网络具有输入层和输出层，其中，输出层上的每一个输出节点对应于一个可输出对象，即，输出层上的节点数量与可输出对象的数量是相同的。但是，在可输出对象的数量过大的情况下，如果训练数据较少或对应各可输出对象的训练数据不均衡，就可能导致神经网络训练的过程中总体误差的上下波动，导致训练无法收敛，从而造成训练后的神经网络无法为输入对象计算出准确的输出对象。

因此在现有技术中，神经网络训练经常出现无法收敛的问题，从而造成训练后的神经网络无法为输入对象计算准确的输出对象，这是非常令人烦恼的过程。

为此，非常需要一种改进的神经网络训练方法和设备，以避免神经网络训练无法收敛的问题，从而使得训练后的神经网络可以为输入变量计算准确的输出变量。

在本上下文中，本发明的实施方式期望提供一种神经网络的训练方法和设备。

在本发明实施方式的第一方面中，提供了一种训练神经网络的方法，包括：构建第一初始深度神经网络；利用第一训练数据对所述第一初始深度神经网络进行训练，以形成第一目标深度神经网络；其中，所述第一初始深度神经网络的输出层上包括第一输出节点和辅助节点，其中，每一所述第一输出节点分别对应所述第一初始深度神经网络的每一可输出对象，所述第一输出节点的数量等于所述第一初始深度神经网络的可输出对象的数量，所述辅助节点不对应所述第一初始深度网络的任何可输出对象。

在本发明第一方面的一个实施例中，所述方法还包括：对所述第一目标深度神经网络上的节点进行改造，以形成第二初始深度神经网络；利用第二训练数据对所述第二初始深度神经网络进行训练，以形成第二目标深度神经网络；其中，所述第二初始深度神经网络的输出层上包括第二输出节点，每一所述第二输出节点分别对应所述第二初始深度神经网络的每一可输出对象，所述第二输出节点的数量等于所述第二初始深度神经网络的可输出对象的数量；所述第一初始深度神经网络的可输出对象为待识别对象的第一类别，所述第二初始深度神经网络的可输出对象为待识别对象的第二类别，所述第二类别为所述第一类别的细化分类。