[发明专利]面向卷积神经网络的DSP紧缩字乘法方法及系统

说明书

本发明提供了一种面向卷积神经网络的DSP紧缩字乘法方法及系统，设计出一种基于FPGA上DSP资源实现的紧缩字乘法计算模式。紧缩字乘法即利用数据量化的低比特优势，在一个DSP内部实现多个四比特乘法，提高资源的利用效率。此外，由于FPGA对DSP单元之间的级联进行了专门优化，因此本发明又利用DSP单元的级联实现了紧缩字乘累加，即完成多次紧缩字乘法并累加后，再从紧缩字乘积中提取出运算结果。本发明充分利用了DSP的特性，提高了DSP的利用效率，有利于系统能效比的优化。

技术领域

本发明涉及卷积神经网络的技术领域，具体地，涉及面向卷积神经网络的DSP紧缩字乘法方法及系统。

背景技术

神经网络技术是人工智能的一个重要分支。大量神经元通过互联，形成类似人脑的层级结构，这个层级结构便是神经网络，一般由输入层、输出层和若干隐含层构成。

神经网络精度高、学习能力强，在图像语音识别、模式识别等领域有着广泛且重要的应用。神经网络种类较多，有BP神经网络、卷积神经网络(CNN)、循环神经网络(RNN)等。其中，卷积神经网络由于其权重共享、提取区域特征等特性在图像识别领域有着重要的地位。在大规模视觉挑战赛(ILSVRC)中，图像识别的最好成绩都是由卷积神经网络相关算法创造的。

然而，卷积神经网络是计算密集型和参数密集型的模型，对硬件的计算能力和储存能力都提出了很高的要求。又考虑到应用的实时性和安全性的要求，模型的前向推断往往被部署于靠近数据源头的边缘端。边缘端是能量受限和资源受限的系统，这给卷积神经网络在边缘端高效执行带来了挑战。如何在保证模型精度的前提下，提高吞吐率，降低功耗和资源使用，成为业界最为关注的话题。

为了突破卷积神经网络在边缘端部署的瓶颈，目前的研究热点主要集中在算法和硬件设计两个方面：在算法层面，在保证精度或者仅存在很小精度损失的前提下，对原始模型进行压缩，如模型量化将权重和激活值进行低比特量化；在硬件层面，实现符合卷积神经网络运算模式的高效专用加速度设计，满足边缘端部署的要求。其中，FPGA支持细粒度设计，可重构性较好，便于各类卷积神经网络模型的快速部署。

卷积神经网络的核心运算(即乘累加操作)常被映射到FPGA上的DSP单元中。但是，FPGA平台上的DSP支持27bits×18bits的乘法，若权重和激活值均量化为四比特，卷积计算中仅需要执行4bits×4bits的乘法。在这种情况下，如果不采用专门的硬件设计，EDA工具通常会把硬件描述语言中的一个乘法操作映射到一个DSP上，造成DSP资源的极大浪费，不仅影响加速器的能效比，而且使DSP资源成为网络在边缘端部署的制约条件。

在公开号为：CN101976044A的专利文献中公开了一种基于神经网络的风电系统建模及DSP实现方法。该方法通过分析风力发电系统和神经网络的工作机理，确定其输入和输出信号；其输入信号包括风速和浆距角，输出信号有功率，风轮转速和风轮扭矩，利用BP神经网络与风力发电系统结合，通过建立BP神经网络模型，把隐层数设为足够大可以达到任意的训练精度确定每层的权值，能很好地拟合建模对象的性能；同时为了实现其应用的可能性。

因此，我们提出了紧缩字乘法的计算模式，将多个低比特乘法映射到一个DSP单元中，提高硬件资源的利用率和模型部署的能效比。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种面向卷积神经网络的DSP紧缩字乘法方法及系统。

根据本发明提供的一种面向卷积神经网络的DSP紧缩字乘法方法，所述方法包括如下步骤：

步骤S1：将乘累加单元的四个输入，两个权重和两个输入激活值通过移位-加法模块分别打包；

步骤S2：以紧缩字的形式作为DSP的操作数；

步骤S3：使用DSP同时完成乘法操作；