[发明专利]一种卷积神经网络的训练方法、验证方法及装置

说明书

本申请公开了一种卷积神经网络的训练方法验证方法及装置，在对神经网络进行训练时，对前向计算中的激活计算进行了改进，将传统技术中的若激活计算的输入数据为小于0的值，则将所述输入数据修改为所述输入数据的1/10，改进为激活计算的输入数据为小于0的值，则将所述输入数据修改为所述输入数据的1/2ⁿ，其中，n为正整数。因为将一个数据修改为原来的1/2ⁿ，可以通过移位操作来实现，效率远远高于将一个数据修改为原来的1/10。因此，利用本申请实施例提供的训练方法训练得到神经网络模型，在进行前向运算时，由于在进行激活计算时提升了计算效率，因此，整个神经网络模型的计算效率也得到了提升。

技术领域

本申请涉及深度学习领域，特别是涉及一种卷积神经网络的训练方法。验证方法及装置。

背景技术

目前，深度学习在图像检测、语音识别等领域的应用越来越广泛，卷积神经网络是深度学习的一种重要算法。由于卷积神经网络的计算量比较大，因此相对来讲计算效率比较低。

而卷积神经网络的计算效率在一定程度上限制了其在一些场景例如手机等终端设备中的应用。因此，如何提升卷积神经网络的计算效率，是目前急需解决的问题。

发明内容

本申请所要解决的技术问题是如何提升卷积神经网络的计算效率，提供一种卷积神经网络的训练方法、验证方法及装置。

第一方面，本申请实施例提供了一种卷积神经网络的训练方法，所述方法包括：

第一步：初始化神经网络的各个卷积核参数的初始值；

第二步：按照所述神经网络的结构进行前向计算；其中，所述前向计算中的激活计算具体为：

若所述激活计算的输入数据为小于0的值，则将所述输入数据修改为所述输入数据的1/2ⁿ，其中n为正整数；若所述激活计算的输入数据为大于或者等于0的值，则保持所述输入数据的值不变；

第三步：判断所述神经网络的损失函数是否达到给定阈值，或者，所述神经网络的训练次数是否达到预设次数，如果是则执行第七步；反之执行第四步；

第四步：按照所述神经网络的神经网络结构进行反向传播计算；

第五步：按照所述神经网络的神经网络结构更新所述神经网络的卷积核参数的权重；

第六步：返回执行所述第二步进行训练；

第七步：保存所述神经网络对应的网络结构以及训练得到的神经网络模型。

可选的，所述n＝3或者，所述n＝4。

第二方面，本申请实施例提供了一种卷积神经网络的验证方法，应用于ARM处理器，所述方法包括：

获取目标输入数据；

将所述目标输入数据作为神经网络模型的输入，计算得到所述卷积神经网络的输出结果；其中，所述神经网络模型为利用如权利要求1-2任意一项的方法训练得到的。

可选的，在计算得到所述卷积神经网络的输出结果的过程中，包括激活计算；所述激活计算具体包括：

利用ARM处理器的单指令、多数据扩展结构NEON的比较函数，确定所述激活计算的输入数据是否小于0；

如果是，则将所述小于0的输入数据执行取反操作，并将取反之后得到的数据执行向左移位n位的操作；

将执行所述向左移位n位的操作之后得到的数据执行取反操作。

可选的，在计算得到所述卷积神经网络的输出结果的过程中，包括最大池化；所述最大池化具体包括：