[发明专利]一种卷积神经网络加速方法及装置、存储介质

说明书

本申请实施例提供了一种卷积神经网络加速方法及装置、存储介质，包括：按照预设滑窗策略，在特征图中依次将预设窗口对应的三个通道特征转换为一行特征或者一列特征，得到特征矩阵；按照预设滑窗策略，依次将预设窗口对应的三个通道卷积核转化为一行卷积核或者一列卷积核，得到卷积核矩阵，卷积核矩阵的排列规则和特征矩阵的排列规则相同；将特征矩阵和卷积核矩阵进行矩阵相乘，得到卷积结果，以根据卷积结果加速实现对特征图的处理过程。

技术领域

本申请涉及图像处理领域，尤其涉及一种卷积神经网络加速方法及装置、存储介质。

背景技术

卷积在神经网络中越来越重要，在现代神经网络中卷积层占据前向推理时间的86％，可见对卷积层的优化可以直接影响到神经网络模型在移动端的部署。针对卷积的实现，最直观的办法就是滑窗法的实现，即针对窗口的滑动来执行每个窗口的乘加运算。而使用滑窗法进行加速的方式可以包括使用RISC微处理器(ARM，Advanced RISC Machines)的NEON指令集来实现并行化处理。或者使用一些专用的硬件加速器来加快卷积的计算，比如现代神经网络中的CPU-->图形处理器(GPU，Graphics Processing Unit)-->数字信号处理(DSP，Digital Signal Processing)-->嵌入式神经网络处理器(NPU，Neural-networkProcessing Unit)的硬件的发展。

然而使用滑窗法时，由于移动端的CPU cache的规模小，而对于2维卷积的窗口矩阵，大都需要横跨很多的内存单元，导致cahce局部一致性原理失效，需要频繁地从主存中加载数据到cache中，从而导致CPU的计算速度大大降低。

发明内容

本申请实施例提供一种卷积神经网络加速方法及装置、存储介质，能够提高计算卷积神经网络时的CPU的计算速度。

本申请的技术方案是这样实现的：

本申请实施例提供一种卷积神经网络加速方法，所述方法包括：

按照预设滑窗策略，在特征图中依次将预设窗口对应的三个通道特征转换为一行特征或者一列特征，得到特征矩阵；

按照所述预设滑窗策略，依次将所述预设窗口对应的三个通道卷积核转化为一行卷积核或者一列卷积核，得到卷积核矩阵，所述卷积核矩阵的排列规则和所述特征矩阵的排列规则相同；

将所述特征矩阵和所述卷积核矩阵进行矩阵相乘，得到卷积结果，以根据所述卷积结果加速实现对所述特征图的处理过程。

在上述方法中，所述按照预设滑窗策略，在特征图中依次将预设窗口对应的三个通道特征转换为一行特征或者一列特征，得到特征矩阵，包括：

利用所述预设窗口，在所述特征图的三个通道中，分别选定三个初始特征窗口；

将所述三个初始特征窗口对应的三个通道初始特征转化为所述特征矩阵中的第一行特征或者第一列特征；

按照所述预设滑窗策略，在所述特征图的三个通道中，分别将所述预设窗口从所述三个初始特征窗口移动至三个第二特征窗口；

将所述三个第二特征窗口对应的三个通道第二特征转化为所述特征矩阵中的第二行特征或者第二列特征；

直至将所述特征图的三个最终特征窗口对应的三个通道最终特征转化为所述特征矩阵中的最终行特征或者最终列特征时，得所述特征矩阵，所述三个最终特征窗口为按照所述预设滑窗策略遍历完成所述特征图时的三个通道特征窗口。

在上述方法中，所述按照所述预设滑窗策略，依次将所述预设窗口对应的三个通道卷积核转化为一行卷积核或者一列卷积核，得到卷积核矩阵，包括：

将所述特征图的三个初始特征窗口对应的三个初始通道卷积核转化为所述卷积核矩阵中的第一行卷积核或者第一列卷积核；