[发明专利]卷积神经网络轻量化方法、装置及电子设备

说明书

本发明实施例提供一种卷积神经网络轻量化方法、装置及电子设备，通过预设整形函数将三维神经网络中的三维卷积层转换为二维卷积层。对三维卷积核进行去维度操作以将所述三维卷积核转换为二维卷积核。通过所述预设整形函数对三维池化层进行整形操作，并对整形操作后的三维池化层进行池化操作以将所述三维池化层转换为二维池化层，根据所述二维卷积层、二维卷积核及二维池化层构成转换后的二维卷积神经网络。使得三维神经网络能够在多种深度学习加速引擎上能够使用，极大的提高了三维卷积在实际应用上的效率。

技术领域

本发明涉及行为识别技术领域，具体而言，涉及一种卷积神经网络轻量化方法、装置及电子设备。

背景技术

行为识别的主要目标是根据一段视频来判断一个人的行为，智能监控、人机交互、机器人等诸多应用的一项基础技术。随着深度学习技术的不断发展，越来越多的深度学习方法被应用到行为识别的领域当中。和传统的图像识别不同，人的行为来自于连续多帧图像，从多帧图像整体获得的时间信息会更有利于行为的识别，所以最近出现了多种基于视频的行为识别的深度学习模型。

C3D(Convolutional 3D)模型在传统的二维卷积神经网路的空间域的基础上，增加了一个时间的维度，能够更好的提取行为的时间特征，而且相对双流法等有较快的速度。虽然用C3D卷积进行特征提取可以同时考虑到空间和时间维度的特征，但是计算成本和模型存储还是太大，所以P3D(Pseudo-3D ResNet)网络对三维卷积进行了改造，将一个t×m×n的卷积核分为时间域上的t×1×1的卷积核和空间域上的1×m×n的卷积核，可以减少计算量和储存量，这样就允许在更大的基础网络模型上训练三维神经网络。同样时间和空间域的分离也让整个优化过程分开，使得优化过程更加容易，两个子卷积核之间增加的非线性操作，增加了网络的非线性。在同样运算力的情况下，P3D网络能获得更好的效果。

为了在嵌入式平台等移动端获得更快的速度来降低成本，我们往往需要将卷积模型应用到适用平台的加速引擎上。但作为一种新的神经网络层结构，三维卷积层与三维池化层在一些加速引擎上是不能支持的，这就极大的影响了三维卷积在实际应用上的效率。

发明内容

有鉴于此，本申请的目的在于，提供一种卷积神经网络轻量化方法、装置及电子设备以改善上述问题。

本申请实施例提供一种卷积神经网络轻量化方法，针对于包括三维卷积层、三维池化层和三维卷积核的三维卷积神经网络，所述方法包括：

通过预设整形函数将所述三维卷积层转换为二维卷积层；

对所述三维卷积核进行去维度操作以将所述三维卷积核转换为二维卷积核；

通过所述预设整形函数对所述三维池化层进行整形操作，并对整形操作后的三维池化层进行池化操作以将所述三维池化层转换为二维池化层，获得转换后的二维卷积神经网络。

进一步地，所述三维卷积层的输入特征图记为B×C×T×M×N，其中，B为每次训练时使用的训练样本个数，C为通道数，T为时间维度，M为高度维度，N为宽度维度，所述通过预设整形函数将所述三维卷积层转换为二维卷积层的步骤包括：

针对各所述训练样本以及各所述通道，通过预设整形函数将所述三维卷积层在不同时间维度上的高度维度进行合并，根据合并后的高度维度以及所述宽度维度构成转换后输入特征图大小为(T×M)×N的二维卷积层。

进一步地，所述三维卷积核记为1×m×n，其中，所述三维卷积核的时间维度为1，m为所述三维卷积核的高度维度，n为所述三维卷积核的宽度维度，所述对所述三维卷积核进行去维度操作以将所述三维卷积核转换为二维卷积核的步骤包括：

去除1×m×n的三维卷积核的时间维度，获得转换后为m×n的二维卷积核。