[发明专利]支持多粒度稀疏与多模式量化的卷积神经网络的加速器

说明书

本发明一种支持多粒度稀疏与指数量化的卷积神经网络的加速器，包括主控制器，并行的第一级激活输入处理模块和第一级权重处理模块，并行的第二级激活输入处理模块和第二级权重处理模块，第三级处理模块，并行的池化处理模块和批归一化处理模块，以及输出控制器；通过对卷积神经网络进行压缩，实现剪枝与量化的结合；通过第三级处理模块的量化处理，分别将激活输入和权重进行量化处理；利用配置器能够实现通道/滤波器剪枝，利用处理卷积核稀疏的计算序列的控制实现卷积核剪枝，利用稀疏图案编码的输入和稀疏图案掩模控制器的处理实现可配置空间的图案剪枝，实现多粒度稀疏架构，从而能够对卷积神经网络进行加速，提高其处理能力和速度。

技术领域

本发明涉及卷积神经网络的加速器，具体为支持多粒度稀疏与指数量化的卷积神经网络的加速器。

背景技术

在模型压缩的研究领域中，存在剪枝和量化两种手段。在剪枝方面，包括结构性剪枝和非结构性剪枝，最先进的工作在较高的压缩率下已经基本得到精度的保证。但是目前在硬件架构中，尚缺乏对不同形式剪枝的加速支持，使得剪枝带来的效益不能最大地发挥出来。

在量化方面，研究上大家对定点量化、2的幂指数量化和混合的2的幂指数量化都有相关的研究，但是同样没有一个统一的硬件架构去同时支持这几种量化方式。

现有技术中应用在产业中的DNN加速器架构设计，都是以传统SoC增添张量计算单元的设计，这种主要受限于产品迅速落地的需求，以及还受限于实际应用的模型和数据集不一定适合做学术界上的各种处理，无法满足对多种剪枝以及多种量化的共同适用。

发明内容

针对现有技术中存在的问题，本发明提供一种支持多粒度稀疏与指数量化的卷积神经网络的加速器，通过适用多种剪枝和量化的方式实现加速，硬件的并行效果更好，实现数据的高效压缩加速。

本发明是通过以下技术方案来实现：

支持多粒度稀疏与多模式量化的卷积神经网络的加速器，包括主控制器，并行的第一级激活输入处理模块和第一级权重处理模块，并行的第二级激活输入处理模块和第二级权重处理模块，第三级处理模块，并行的池化处理模块和批归一化处理模块，以及输出控制器；

主控制器输入端经配置器连接I/O端口，输出端输出图案数据连接第三级处理模块输入端；

第一级激活输入处理模块输入端经输入控制器接入激活输入和处理卷积核稀疏的计算序列；用于根据处理卷积核稀疏的计算序列将激活输入进行重排完成一级处理；

第一级权重处理模块输入端经输入控制器接入权重、稀疏图案编码、以及批归一化参数k和b；用于将输入的权重、稀疏图案编码、以及批归一化参数k和b通过数据分配进行分类更新；

第二级激活输入处理模块输入端接入一级处理后的激活输入和更新后的稀疏图案编码；用于根据更新后的稀疏图案编码确定对一级处理后的激活输入的接收，将接收的激活输入输出到第三级处理模块和池化处理模块；

第二级权重处理模块输入端接入更新后的权重，用于将接收的激活输入对应的权重进行导入，输出到第三级处理模块；并且将更新后的批归一化参数k和b输入到批归一化处理模块；

第三级处理模块包括若干并行的计算核；每个计算核对应处理一组接收的激活输入和权重，将接收的激活输入根据权重的大小进行移位和累加处理量化后输出，然后将计算核的量化输出进行第一量化处理或第二量化处理后输入到批归一化处理模块；

第一量化处理是用于将27比特的定点计算结果转化为8比特定点，用于旁路批归一化处理直接经激活函数输出；第二量化处理是将27比特的定点计算结果转化为16比特浮点，用于批归一化处理计算；

池化处理模块将接收的激活输入进行池化处理后输入到输出控制器；