[发明专利]一种神经网络加速器卷积计算和数据载入并行方法及装置

说明书

本发明公开了一种神经网络加速器卷积计算和数据载入并行方法及装置，该并行方式各需要两块输入特征图和卷积核缓存块，将输入特征图和64个卷积核根据载入长度依次存入各个缓存子块中，一边高效的执行卷积计算，一边实现下一组64卷积核的数据载入。一般的神经网络需要成百上千的卷积核，将其全部存储在片上需要大量的存储空间，这样会使芯片面积较大，相应制造成本增加。本发明在保证卷积高效计算的同时显著降低片上存储空间，其减小了芯片面积，进而降低芯片成本，其实现方式简单，灵活可控，且与具体的神经网络层数无关。

技术领域

本发明涉及神经网络计算领域，尤其是涉及一种神经网络加速器卷积计算和数据载入并行方法及装置。

背景技术

神经网络一经出现就成为了学术界和工业界的研究热点，随着研究的不断深入，各种各样的神经网络被提出，其中就包括深度达到几百层，参数成千上万的大型网络。目前主要的研究工作使用图形处理器（GPU）完成，GPU操作简单，编程方便，对于训练一个神经网络具有先天优势，但同时也存在缺点，在执行一些推理应用方面，尤其是大批量的终端部署，耗电量巨大，成本较高。

2016年3月，谷歌AlphaGo击败围棋世界冠军、职业九段棋手李世石，此后对于神经网络加速器的研究如雨后春笋，各种新型架构的神经网络加速器应运而生。

总体而言，神经网络加速器的构成主要包括数据输入输出缓存单元、卷积计算单元、量化单元、矢量计算单元、池化单元等。各个模块相对独立而又相互关联。现有技术一般是提前准备好输入特征图和卷积核权重，根据卷积指令计算卷积，输出结果，然后继续输入特征图和卷积核权重，计算卷积等。现有技术原理简单直接，容易理解，但没有充分考虑各种操作之间的并行性，使得大型神经网络推理时间过长，特别对于实时性要求比较高的目标检测类神经网络，实时性变差会引起网络的漏检，继而严重影响性能。同时，由于现有技术缺乏并行性，而为了保证计算的正常进行大量的卷积核需要存放在片上，因此使得片上卷积核缓存较大，继而芯片面积增加，成本增加。

因此，需要一种神经网络加速器卷积计算和数据载入的并行方式。

发明内容

为解决现有技术的不足，实现提高神经网络计算效率，降低成本的目的，本发明采用如下的技术方案：

一种神经网络加速器卷积计算和数据载入并行方法，包括如下步骤：

S1，按照输入特征图存放要求，将一帧输入特征图全部存入输入特征图缓存，按输入特征图的通道，分散存储在64块输入特征图子缓存中；

S2，按照卷积核存放要求，将一组64个卷积核依次送入第一卷积核缓存中对应的64个卷积核缓存子块中；

S3，载入输入特征图缓存和第一卷积核缓存，执行卷积计算，将结果放入输出特征图缓存，同时将下一组64个卷积核存入第二卷积核缓存中对应的64个卷积核缓存子块中；

S4，本层卷积计算完成后，将输入、输出特征图缓存互换，将存有有效权重的卷积核缓存作为第一卷积核缓存，执行S3；两个计算使用握手协议，当同时结束之后才可进行下一层卷积计算；

S5，等待本网络所有卷积计算完成后，根据指令寄存器的设定载入下一帧输入特征图。

进一步地，所述S3包括如下步骤：

S31，载入输入特征图指令参数锁存，载入卷积核指令参数锁存，启动神经网络加速器，从指令模块中依次读取指令，如果当前指令是输入特征图载入指令，则锁存片外输入特征图存放地址以及载入输入特征图长度；如果当前指令是卷积核载入指令，则锁存当前载入卷积核数目、载入卷积核长度、卷积核缓存起始地址以及片外卷积核存放地址；