[发明专利]训练神经网络的方法及装置、电子设备

说明书

公开了一种训练神经网络的方法及装置、电子设备，包括：量化卷积神经网络中卷积层的第一组浮点型参数，以获得所述卷积层的第一组定点型参数，所述第一组浮点型参数是通过样本数据对所述卷积神经网络进行训练得到的浮点型数据；基于与所述卷积层相对应的归一化层的第二组浮点型参数和所述第一组定点型参数，确定所述卷积层的第三组浮点型参数，所述第三组浮点型参数为浮点型数据；以及，量化所述第三组浮点型参数为第二组定点型参数，以得到定点化的卷积神经网络。本申请可以得到计算简单且精度更接近原始神经网络的定点化神经网络。

技术领域

本申请涉及神经网络技术领域，尤其涉及一种训练神经网络的方法及装置、电子设备。

背景技术

神经网络在图像识别、语音识别、机器翻译、疾病诊断等领域的应用远远超过了以往的其他解决方案。然而，神经网络的模型复杂度和计算效率常常会限制更加广泛的在各种场合应用神经网络模型。因此减少神经网络模型大小、加快神经网络模型推理速度，可以大大拓宽神经网络应用的领域。

发明内容

为了解决上述技术问题，期望提供一种训练神经网络的方法及装置、电子设备，以获得计算简单并且精度又接近原始神经网络的定点化神经网络，从而在提高计算效率和节省硬件资源的同时获得较高精度的运算结果。

根据本申请的一个方面，提供了一种训练神经网络的方法，包括：

量化卷积神经网络中卷积层的第一组浮点型参数，以获得所述卷积层的第一组定点型参数，所述第一组浮点型参数是通过样本数据对所述卷积神经网络进行训练得到的浮点型数据；

基于与所述卷积层相对应的归一化层的第二组浮点型参数和所述第一组定点型参数，确定所述卷积层的第三组浮点型参数，所述第三组浮点型参数为浮点型数据；以及

量化所述第三组浮点型参数为第二组定点型参数，以得到定点化的卷积神经网络。

根据本申请的另一个方面，提供了一种训练神经网络的装置，包括：

第一量化单元，配置为量化卷积神经网络中卷积层的第一组浮点型参数，以获得所述卷积层的第一组定点型参数，所述第一组浮点型参数是通过样本数据对所述卷积神经网络进行训练得到的浮点型数据；

合并单元，配置为基于与所述卷积层相对应的归一化层的第二组浮点型参数和所述第一组定点型参数，确定所述卷积层的第三组浮点型参数，所述第三组浮点型参数为浮点型数据；以及

第二量化单元，配置为量化所述第三组浮点型参数为第二组定点型参数，以得到定点化的卷积神经网络。

根据本申请的另一个方面，提供了一种电子设备，包括：一个或多个处理器；以及，存储器，存储有计算机指令，所述计算机指令在被所述处理器运行时使所述处理器执行上述训练神经网络的方法。

根据本申请的另一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行上述训练神经网络的方法。

通过本申请实施例可以得到计算简单、精度又更接近原始神经网络的定点化神经网络，通过将卷积神经网络转换为该定点化神经网络，不仅可显著提高计算效率、节省硬件资源，同时可以更高精度的运算结果。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是本申请所适用的神经网络的结构示意图。

图2是本申请一示例性实施例提供的定点化神经网络的结构示意图。