[发明专利]卷积神经网络加速引擎、卷积神经网络加速系统及方法

说明书

本发明公开了一种卷积神经网络加速引擎、卷积神经网络加速系统及方法，属于异构计算加速领域，引擎包括：全局缓存和物理PE矩阵；物理PE矩阵包括多个物理PE单元，物理PE单元用于执行行卷积操作以及相关的部分和累加操作；XY互联总线用于将输入特征图像数据、输出特征图像数据和卷积核参数从全局缓存传输到物理PE矩阵上，或者将物理PE矩阵产生的操作结果传输到全局缓存中；邻接互联总线用于在同一列物理PE单元之间传输中间结果；系统包括：3D‑Memory，其中每个Vault单元的内存控制器中集成了卷积神经网络加速引擎，用于完成卷积神经网络计算任务的一个子集；方法在系统的基础上进行逐层优化。本发明能够提高卷积神经网络的性能和能耗。

技术领域

本发明属于异构计算加速领域，更具体地，涉及一种卷积神经网络加速引擎、卷积神经网络加速系统及方法。

背景技术

随着智能计算的普及，包括语音识别，物体检测，场景标记和自动驾驶等，深度神经网络模型的预测精确度被要求越来越高，深度神经网络模型(DCNN)设计趋向于越来越深和规模越来越大，计算平台需要为此提供足够计算能力和存储能力。

针对深度神经网络这类应用，给计算平台带来不少的挑战：不同的神经网络模型的层数和参数形状各异对硬件的灵活性要求高；不同层的类型，包括卷积层，全连接层，池化层，批处理归一层等，使计算复杂而导致性能下降；并且数据量和计算量的庞大导致功耗问题。因此设计具有大规模计算逻辑和高数据带宽和简单专用缓存架构的协处理器进行异构加速深度学习这类计算任务单一，计算密度大且较高的数据复用的应用更为合适。

相比于GPU较低的性能功耗比，目前更多采用定制化的和半定制化的方案。利用DCNN特殊的数据复用机制，合理地分解和映射这些超大卷积操作到多层存储结构和计算单元上对性能和能效优化十分重要。流式处理，位宽压缩，神经网络稀疏化，存内计算等等是主要采用的优化方案。

目前一些DCNN专用芯片目前存在一下的问题：(1)神经网络模型和特征图像的存储是模型扩展和整体能效的一大瓶颈：DIANNAO芯片将整个神经网络模型存放在片上SRAM上；DADIANNAO芯片采用多核结构和采用eDRAM分布式存储神经网络模型，但是仍然很难扩展到较大的神经网络模型上；Eyeriss在278nm运行AlexNet能够达到170GOPS，但当运行VGG16，性能急剧下降。(2)DCNN加速器的映射策略与神经网络模型之间的不匹配导致性能和能效下降：不仅是DCNN模型参数还是输入特征图像都是高维的数据，包括批处理量，输入特征图像通道，输出特征图像，特征图像宽/高，卷积核宽高多个维度，DIANNAO采用加法树结构并行展开输入和输出通道数，现有加速器是将对固定的数据维度展开进行数据重用来减少存储单元的访问，当某一数据维度很低时，则影响处理过程中计算单元的利用率导致性能的下降。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种卷积神经网络加速引擎、卷积神经网络加速系统及方法，其目的在于，解决现有的DCNN加速器的映射策略与神经网络模型不匹配导致性能和能效下降的技术问题。

为实现上述目的，按照本发明的第一方面，提供了一种卷积神经网络加速引擎，包括：全局缓存和物理PE矩阵；

物理PE矩阵包括以行列形式排布的多个物理PE单元；每一个物理PE单元用于执行行卷积操作以及相关的部分和累加操作；行卷积操作为通过滑窗的方式，将卷积核中的一行权重与输入特征图像的一行像素相乘，并将同一滑动窗口内相乘的结果相加；部分和累加操作为将多个行卷积操作的部分中间结果累加，得到输出特征图像的一个像素点的操作；

在全局缓存和物理PE矩阵之间，以及在物理PE单元之间实现数据传输的片上互联总线包括：XY互联总线和邻接互联总线；

XY互联总线由X总线和Y总线构成，物理PE矩阵中，每一行物理PE单元与同一X总线相连，所有的X总线以及全局缓存均与Y总线相连；物理PE矩阵中，每一列物理PE单元与同一邻接互联总线相连；