[发明专利]用于BNN硬件加速器的双向并行处理卷积加速系统

说明书

本发明提供了一种用于BNN硬件加速器的双向数据级并行处理卷积加速系统包括：存储单元，用于存储输入的激励数据、卷积核参数以及该层卷积运算结束后的结果；运算控制器，控制各个卷积层之间数据的传递、激励的输入与读取卷积核参数的读取、参数运算以及计算结果的存储；卷积运算模块，根据所述控制器指令，读取缓冲单元里的数据和参数，完成卷积操作；数据搬运模块，根据运算控制器的配置信息，将所有参数与激励数据从片外DDR搬运至片上存储器。通过增加运算资源和数据存储资源的开销，大大提高了运算吞吐率。

技术领域

本发明属于计算机及电子信息技术领域，尤其涉及提供了一种用于BNN硬件加速器的双向数据级并行处理卷积加速方法。

背景技术

深度卷积神经网络已经成为机器学习算法中很重要的一部分，并广泛地运用于计算机视觉。大量运用CNN解决实际应用问题中，不可避免的一个挑战是，如何解决CNN的计算力需求和存储能力。例如，一个VGG-19的网络，包含了140百万个浮点参数，以及需要进行15百亿次浮点操作来进行图像的分类。因而，现在CNN大量的训练和推理工作均是在CPU和GPU集群下进行的。

相比于CPU，GPU这类通用型平台，FPGA这样的定制型硬件平台更能节省功耗和提高效率，而这对于像无人机，嵌入式设备这些对功耗效率实时性要求高的终端应用场景来说，是非常适合的。近些年，无论是学术界还是工业界都对在FPGA上实现CNN的加速器做了很多的探索努力。

随着深度卷积神经网络层数的增加，参数量的爆炸性增长，其计算复杂度和计算力需求也水涨船高。人工智能芯片主要用于训练和推理两个环节，其中在线推理环节是指利用训练出来的模型在线响应用户需求，如无人驾驶，智能家居等领域，基于实时性和隐私安全的考虑，需要在嵌入式智能终端部署计算平台，并且要尽可能地减少时延，这就对计算速度提出了要求。另外，对于可穿戴设备等嵌入式设备对功耗和效率的要求也非常高。

发明内容

为了解决上述问题，本发明提出一种用于BNN硬件加速器的双向数据级并行处理卷积加速方法，具体由以下技术方案实现：

所述用于BNN硬件加速器的双向并行处理卷积加速系统，包括：

存储单元，设置于每一卷积层上，分别用于存储输入的激励数据、卷积核参数以及该层卷积运算结束后的结果；

一个运算控制器，控制各个卷积层之间数据的传递、激励的输入与读取卷积核参数的读取、参数运算以及计算结果的存储；

卷积运算模块，根据所述控制器指令，读取缓冲单元里的数据和参数，完成卷积操作；

数据搬运模块，根据运算控制器的配置信息，一次性将所有参数与激励数据从片外DDR搬运至片上存储器，以减少访问片外存储器的次数。

所述用于BNN硬件加速器的双向并行处理卷积加速的进一步设计在于，卷积运算模块包括：

浮点卷积运算模块，为卷积运算模块的第一层，浮点卷积运算模块的输入数据为浮点数据；

二值卷积单元，为卷积运算模块的第二至五层，经卷积操作后，将卷积层的尺寸在各个维度上缩小两倍，完成了池化过程，将池化处理后的数据代入设定的公式进行量化处理；

二值全连接层运算单元，为卷积运算模块的第六至九层，用全连接层将所学到的分布式特征映射到样本标记空间，将权重和激励的卷积运算转化为1bit数据之间的异或操作。

所述用于BNN硬件加速器的双向并行处理卷积加速的进一步设计在于，所述卷积运算模块中各单元包括：

数据缓冲器，在进行卷积运算时，从数据存储器中读出像素数据，存入到数据缓冲器中，每次卷积运算结束，从数据存储器中读入新的数据，覆盖之前的数据；

卷积核参数缓冲器，从参数存储器中读取卷积核与相应的数据缓冲器中的数据进行按位卷积运算；