[发明专利]基于深度可分离卷积的轻量级神经网络硬件加速器

说明书

本发明公开了一种基于深度可分离卷积的轻量级神经网络硬件加速器，包括A路K×K通道卷积处理单元并行阵列、A路1×1点卷积处理单元并行阵列以及用于缓冲卷积神经网络和输入输出特征图的片上存储器；卷积神经网络是将神经网络MobileNet采用量化感知训练方法压缩所得的轻量级神经网络；A路K×K通道卷积处理单元并行阵列、多路1×1点卷积处理单元并行阵列部署在像素级流水线中；每个K×K通道卷积处理单元包括1个乘法器、1个加法器和1个激活函数计算单元；每个1×1点卷积处理单元包括多路选择器、1个两级加法器树和1个累加器。本发明解决了以往加速器在推理过程产生高能耗片外访存问题，同时节省了资源并提高了处理性能。

技术领域

本发明属于神经网络硬件加速器技术领域，具体涉及一种基于深度可分离卷积的轻量级神经网络硬件加速器。

背景技术

如今，卷积神经网络在图像分类，医学图像分割和目标追踪领域取得了巨大的成功。典型的卷积神经网络(例如VGG16和GoogLeNet)的计算量很大，并且依赖于高成本，低能效的图形处理单元或远程计算中心。在能源和成本预算紧张的情况下，很难将它们部署在便携式或移动实时系统上。以往的研究主要集中在两个方向来解决该问题，一是在算法层面优化卷积神经网络以减少计算和存储访问(如拓扑结构优化和模型压缩)。另一个方向是设计基于超大规模集成电路的卷积神经网络加速器以实现低成本高能效卷积神经网络推理。现有的卷积神经网络硬件加速器例如Eyeriss和Google TPU适用于大多数已知的神经网络模型，具备很强的通用性，但对于拓扑结构并不规整的网络模型如基于深度可分离卷积的网络，其脉动阵列利用率低，这会导致不必要的成本和能量损失。

因此，因必要开发一种新的基于深度可分离卷积的轻量级神经网络硬件加速器。

发明内容

本发明的目的是提供一种基于深度可分离卷积的轻量级神经网络硬件加速器，能有效减少高功耗片外访存量，同时能节省资源并提高处理性能。

本发明所述的一种基于深度可分离卷积的轻量级神经网络硬件加速器，包括A路K×K通道卷积处理单元并行阵列、A路1×1点卷积处理单元并行阵列以及用于缓冲卷积神经网络和输入输出特征图的片上存储器；

所述卷积神经网络是将神经网络MobileNet采用量化感知训练方法压缩所得的轻量级神经网络；

所述A路K×K通道卷积处理单元并行阵列、多路1×1点卷积处理单元并行阵列部署在像素级流水线中；

所述A路K×K通道卷积处理单元并行阵列中的每个K×K通道卷积处理单元包括1个乘法器、1个加法器和1个激活函数计算单元；其中，所述乘法器用于计算通道卷积和批标准化中所涉及的乘法操作；所述加法器用于累加通道卷积结果，累加K×K次后输出前项和；所述激活函数计算单元用于对输出值非线性激活；

所述多路1×1点卷积处理单元并行阵列中的每个1×1点卷积处理单元包括多路选择器、1个两级加法器树和1个累加器；其中，所述多路选择器用于实现点卷积中的乘法操作；所述两级加法器树用于对点卷积乘法结果求和；所述累加器用于累加点卷积结果。

优选地，将神经网络MobileNet采用量化感知训练方法压缩所得的轻量级神经网络，具体为：

分析模型权重分布：神经网络MobileNet包括标准卷积层、通道卷积层、点卷积层以及全连接层，分析标准卷积层、通道卷积层、点卷积层以及全连接层的权重分布情况；

确定各层量化精度：标准卷积层和通道卷积层的精度均大于等于8比特，点卷积层和全连接层的精度均小于8比特；

量化感知训练：数据集选取CIFAR-10和ImageNet两个经典数据集，数据预处理包括数据增强、标准化，神经网络MobileNet通过量化感知训练后得到轻量级神经网络。