[发明专利]基于级联形式的CNN卷积核硬件设计方法

说明书

技术领域

本发明涉及深度学习技术领域，尤其涉及一种基于级联形式的CNN卷积核硬件设计方法。

背景技术

过去几年，深度学习在解决诸如视觉识别、语音识别和自然语言处理等很多问题方面都表现出色。在不同类型的神经网络当中，卷积神经网络是得到最深入研究的。早期由于缺乏训练数据和计算能力，要在不产生过拟合的情况下训练高性能卷积神经网络是很困难的。

近来卷积神经网络研究涌现大量一流结果。2006年起，人们设计了很多方法，想要克服难以训练深度卷积神经网络(CNN)的困难。其中，最著名的是Krizhevsky et al.提出了一个经典的CNN结构——AlexNet，并在图像识别任务上取得了重大突破。AlexNet取得成功后，研究人员又提出了其他的完善方法。

从结构看，CNN发展的一个方向就是层数变得更多，通过增加深度，网络便能够利用增加的非线性得出目标函数的近似结构，同时得出更好的特性表征。但是，这样做同时也增加了网络的整体复杂程度，使得对运算量的需求大大增加。CNN计算中卷积运算占据了总运算量的90％以上，传统冯·诺伊曼计算机架构由于其结构特点，难以快速实现CNN的运算。而FPGA等半定制硬件平台具有高并行度、自定程度高等特点，在这些平台上实现CNN可以最大发挥出其优势，实现快速、高效和低功耗的CNN计算。

发明内容

发明目的：本发明针对现有技术中存在的缺陷，提供了一种基于级联形式的CNN卷积核硬件设计方法。

技术方案：本发明所述的基于级联形式的CNN卷积核硬件设计方法，包括以下步骤：

(1)定义卷积基本矩阵，并采用硬件实现，得到卷积基本模块；

(2)将线性卷积用快速卷积算法以矩阵相乘的形式进行表示，并按照表示形式将卷积基本模块进行级联，形成级联卷积模块；

(3)在级联卷积模块中加入通过加法器实现的加法矩阵，以实现并行处理、偏置值的加法计算以及2维卷积和，得到最终快速卷积核。

进一步的，步骤(1)具体包括：

(1-1)定义卷积基本矩阵为：

H₃＝diag(h₀,h₁,h₂,h₀+h₁,h₀+h₂,h₁+h₂)

式中，h₀、h₁、h₂分别表示卷积运算中滤波器的各个抽头系数。

(1-2)将P₂、Q₂、H₂、P₃、Q₃、H₃采用硬件实现，得到卷积基本模块P₂、Q₂、H₂、P₃、Q₃、H₃。

进一步的，步骤(2)具体包括

(2-1)将线性卷积用快速卷积算法以矩阵相乘的形式表示为：

式中，L表示线性卷积的长度，满足关系L＝L₁L₂...L_r，其中L_i表示将线性卷积分解成r个级联子卷积后，其中第i个子卷积的长度，且L_i＝2,3；X_L表示线性卷积输入矩阵，X_*表示线性卷积的第*个输入向量；Q_L表示级联的后处理矩阵，表示第i个子卷积滤波器的后处理矩阵，表示张量积运算；H_L表示对角化的级联滤波器矩阵，h_*表示第*个滤波器系数；P_L表示预处理矩阵，表示第i个子卷积滤波器的预处理矩阵；A表示级联形式中用来调整输入向量的矩阵；Y_L表示线性卷积输出矩阵，Y_*表示线性卷积的第*个输出向量；

(2-2)将各个和替换为对应的卷积基本模块Q₂、Q₃和P₂、P₃，根据卷积系数计算得到H_L，并按照(2-1)的表示形式进行级联，形成级联卷积模块。