[发明专利]一种深度神经网络运算方法及装置

说明书

本申请实施例提供了一种深度神经网络运算方法及装置，深度神经网络运算方法包括：获取网络层输入特征图；按照预设位移参数，将网络层输入特征图的每个通道分别沿各轴向进行位移，得到位移特征图，其中，预设位移参数包括每个通道在各轴向上的位移量；利用1×1卷积核，对位移特征图进行卷积运算，得到网络层输出特征图。通过本方案，可以提高DNN的运行效率。

技术领域

本申请涉及机器学习技术领域，特别是涉及一种深度神经网络运算方法及装置。

背景技术

DNN(Deep Neural Network，深度神经网络)作为机器学习研究中的一个新兴领域，通过模仿人脑的机制来解析数据，是一种通过建立和模拟人脑进行分析学习的智能模型。目前，例如CNN(Convolutional Neural Network，卷积神经网络)、RNN(RecurrentNeural Network，循环神经网络)、LSTM(Long Short Term Memory，长短期记忆网络)等DNN已在目标检测与分割、行为检测与识别、语音识别等方面得到了很好的应用。随着数据量的不断增加，DNN的计算复杂度不断提高。

为了降低DNN的计算复杂度，目前DNN多采用轻量化神经网络结构，例如移动端卷积神经网络MobileNet和ShuffleNet等，这些轻量化神经网络结构通过DWConv(DepthwiseConvolution，通道分离卷积)实现卷积运算。具体的，对输入特征图每个通道分别进行卷积运算，再利用1×1卷积核对每个通道的卷积结果进行卷积运算，实现通道维度上的信息聚合。DWConv将复杂的卷积运算拆分开来，先对一个通道的特征图进行卷积，再利用1×1卷积核进行通道维度上的信息聚合，降低了每一次进行卷积运算的复杂度。

然而如上述，DWConv运算需要进行多次的卷积运算，多次的卷积运算过程会导致DNN的实际运行效率较低。

发明内容

本申请实施例的目的在于提供一种深度神经网络运算方法及装置，以提高DNN的运行效率。具体技术方案如下：

第一方面，本申请实施例提供了一种深度神经网络运算方法，所述方法包括：

获取网络层输入特征图；

按照预设位移参数，将所述网络层输入特征图的每个通道分别沿各轴向进行位移，得到位移特征图，其中，所述预设位移参数包括每个通道在各轴向上的位移量；

利用1×1卷积核，对所述位移特征图进行卷积运算，得到网络层输出特征图。

可选的，所述位移量为预设的多个不同偏移量的平均分布。

可选的，所述预设位移参数经过预先学习得到；

所述预设位移参数的学习方式，包括：

获取初始的位移参数；

将所述位移参数中的位移量转化为浮点位移量；

根据所述网络层输入特征图以及所述浮点位移量，利用双线性插值算法，得到网络层输出函数；

根据所述深度神经网络的输入数据、所述1×1卷积核、所述位移参数以及所述输入数据对应的标签，确定所述深度神经网络的网络损失值；

根据所述网络层输出函数，计算所述网络损失值对所述位移参数的梯度，并利用梯度下降法，对位移参数进行多次迭代更新，得到预设位移参数。

可选的，所述根据所述深度神经网络的输入数据、所述1×1卷积核、所述位移参数以及所述输入数据对应的标签，确定所述深度神经网络的网络损失值，包括：

根据所述深度神经网络的输入数据、所述1×1卷积核、所述位移参数以及所述输入数据对应的标签，计算所述深度神经网络的网络损失函数；

根据所述1×1卷积核，计算第一正则项；