[发明专利]神经网络计算专用电路及其相关计算平台与实现方法

说明书

公开了一种神经网络专用电路及其相关计算平台与实现方法。该专用电路包括：数据读取模块，包括在执行depthwise卷积操作时分别用于将特征图数据和权重数据从片上缓存中读取至数据计算模块的特征图读取子模块和权重读取子模块，所述特征图读取子模块还用于在执行池化操作将特征图数据从片上缓存中读取至数据计算模块；所述数据计算模块，包括用于执行depthwise卷积计算的dwconv模块以及用于执行池化计算的pooling模块；以及数据写回模块，用于将所述数据计算模块的计算结果写回所述片上缓存。由此，通过对上述两类操作的读取和写回逻辑的复用降低硬件资源的使用。同时，本发明的专用电路采用高并发流水线设计，能够进一步提升计算性能。

技术领域

本发明涉及硬件架构领域，尤其涉及一种用于神经网络计算的专用电路及其相关计算平台与实现方法。

背景技术

近年来，基于人工神经网络(ANN，Artificial Neural Network)，尤其是卷积神经网络(CNN，Convolutional Neural Network)的方法在很多应用中都取得了极大的成功。在计算机视觉领域，特别是针对图像分类问题，CNN的引入使得图像分类的精度大幅提高。

虽然基于人工神经网络的方法具有先进的性能，但与传统方法相比需要更多的计算和内存资源。尤其随着神经网络的发展，大型神经网络具有越来越多的层级和数据量，利用传统的CPU平台，已无法满足其实用性需求。因此，利用FPGA、GPU、ASIC等高并行度异构计算平台进行神经网络加速器设计成为新的研究热点。在这其中，FPGA和ASIC以其高定制性、高能效比和低延时等优势而拥有良好的市场前景。

当利用FPGA和ASIC等的高并行度计算平台来执行计算时，如何能够充分利用电路的可设计性提升计算利用率，成为了神经网络计算平台所需考虑的重要问题。

因此，仍然需要一种能够进一步优化神经网络计算的相关方案。

发明内容

为了解决上述至少一个问题，本发明提出了一种神经网络专用电路，该电路充分考虑depthwise卷积和池化操作中共同点，通过对上述两类操作的读取和写回逻辑的复用降低硬件资源的使用。同时，本发明的专用电路采用高并发流水线设计，能够进一步提升计算性能。

根据本发明的一个方面，提出了一种神经网络计算专用电路，包括：数据读取模块，包括在执行depthwise卷积操作时分别用于将特征图数据和权重数据从片上缓存中读取至数据计算模块的特征图读取子模块和权重读取子模块，所述特征图读取子模块还用于在执行池化操作将特征图数据从片上缓存中读取至数据计算模块；所述数据计算模块，包括用于执行depthwise卷积计算的dwconv模块以及用于执行池化计算的pooling模块；以及数据写回模块，用于将所述数据计算模块的计算结果写回所述片上缓存。

由此，分时执行的dwconv操作和池化操作可以复用相同的读取和写回逻辑，降低了系统的复杂度并提升了该电路本身的硬件利用率。在此，pooling模块执行的池化可以是最大值池化或平均池化。神经网络计算专用电路可由FPGA或ASIC实现。

优选地，本发明的专用电路还可以包括：指令控制模块，用于接收指令信息，从所述指令信息中提取出控制信息分发至所述数据读取模块、所述数据计算模块和所述数据写回模块，以对数据读取、计算和写回进行控制。由此，通过引入专用控制电路，能够进一步提升该专用电路的执行效率。所述指令控制模块接收的指令信息可以包括如下至少一项：卷积核宽度、卷积核高度、像素长度、通道数、卷积核横向步长、卷积核纵向步长、输入源数据地址和输出结果数据地址，以便指示dwconv和池化操作中所需的各自信息。