[发明专利]神经网络模型训练方法及装置

说明书

技术领域

本申请属于人工智能领域，具体地说，涉及一种神经网络训练方法及装置。

背景技术

神经网络模型是基于模仿生物大脑的结构和功能而构成的一种信息处理系统。近年来，神经网络模型在计算机视觉、语音识别、智力游戏等多个领域取得了飞速发展。神经网络模型为多层网络结构，包括一个输入层和一个输出层，以及在输入层和输出层之间排布的若干个中间层(也称隐层)，各层之间顺序相连。其中，每一层都有若干个神经元(也称节点)，前一层的节点与后一层的节点之间存在有权重参数，并且后一层的节点能够由前一层的节点与权重参数计算得到。

神经网络的权重参数一般是未知的，是需要训练的。采用不断地将已知的输入和相应的输出来“训练”这个网络，网络根据输入和输出不断地调整自己各个节点之间的权重参数来满足输入和响应的输出。当训练结束后，给定一个输入，神经网络根据已调节好的权重参数计算出一个输出。

然而传统的神经网络模型在训练时，其权重参数多使用浮点数据类型(单精度或者双精度)来定义权重参数的数据类型。由于浮点数的数据在计算机系统中需要占用较大的内存，使得神经网络的训练时间变长，还需要消耗较大的内存。那么如何训练一个计算效率更高、占用内存更小的神经网络模型是目前亟待解决的问题。

发明内容

有鉴于此，本申请所要解决的技术问题是传统的神经网络模型中存在计算量大，内存占用高的问题。

为了解决上述技术问题，本申请公开了一种神经网络模型的训练方法及装置，该方法在训练过程中采用将模型中由浮点数据类型保存的权重参数改为使用三个整型数据类型，在训练过程中不断调整权重参数使得由该权重参数构成的神经网络模型更加简洁、效率更高。

本发明实施例提供一种神经网络模型的训练方法，包括：

获取训练样本；其中，所述训练样本包括输入数据以及与所述输入数据对应的标签数据；

随机生成神经网络模型的初始权重参数；

将所述初始权重参数进行三值化计算，获得三值化权重参数；

利用所述训练样本的输入数据以及所述三值化权重参数，计算输出数据；

判断所述输出数据与所述标签数据是否满足损失条件；

在所述输出数据与所述标签数据满足损失条件时，调整所述三值化权重参数；

利用所述训练样本的输入数据以及调整后的所述三值化权重参数；重新计算输出数据，返回所述将所述输出数据与所述标签数据进行比较，获取比较结果的步骤继续执行；

在所述比较结果不满足损失条件时，将所述三值化权重参数作为所述神经网络模型的目标权重参数。

本发明实施例提供一种神经网络模型的训练装置，包括：

第一获取模块，用于获取训练样本；其中，所述训练样本包括输入数据以及与所述输入数据对应的标签数据；

第一生成模块，用于随机生成神经网络模型的初始权重参数；

第一计算模块，用于将所述初始权重参数进行三值化计算，获得三值化权重参数；

第二计算模块，用于利用所述训练样本的输入数据以及所述三值化权重参数，计算输出数据；

第一判断模块，用于判断所述输出数据与所述标签数据是否满足损失条件；

第一调整模块，用于在所述输出数据与所述标签数据满足损失条件时，调整所述三值化权重参数；

第三计算模块，用于利用所述训练样本的输入数据以及调整后的所述三值化权重参数；重新计算输出数据，返回所述将所述输出数据与所述标签数据进行比较，获取比较结果的步骤继续执行；

第二获取模块，用于在所述比较结果不满足损失条件时，将所述三值化权重参数作为所述神经网络模型的目标权重参数。

与现有技术相比，本申请可以获得包括以下技术效果：

1)低内存占用；

2)运算量变小，使得运算时间降低；

3)运算效率更高，运算结果更精确。

当然，实施本申请的任一产品必不一定需要同时达到以上所述的所有技术效果。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是本申请神经网络模型训练方法的一个实施例流程图；

图2是本申请神经网络模型训练装置的一个实施例结构示意图。

具体实施方式