[发明专利]卷积神经网络加速器

说明书

本发明公开了一种卷积神经网络加速器，包含输入特征图缓存，权重缓存，输出特征图缓存，核心运算模块，控制模块，定点数转浮点数模块，浮点数转定点数模块和整数转定点数模块。通过定点数转浮点数模块，浮点数转定点数模块和整数转定点数模块解决了卷积神经网络加速器和CPU切换时需要消耗大量时间进行数据格式转换的问题和原始输入特征图转换位定点数需要消耗大量时间进行数据格式转换的问题。

技术领域

本发明涉及神经网络领域，尤其涉及一种卷积神经网络加速器。

背景技术

卷积神经网络技术近年来取得了极大的发展，各种网络层出不穷。人们尝试将卷积神经网络应用于计算机视觉、语音识别、自然语言处理、自动驾驶等领域，并且取得了一定的效果。

卷积神经网络的推断运算主要是基于GPU、CPU和FPGA平台。在GPU和CPU平台中，开发者通过软件编程的方式完成神经网络计算。在FPGA平台中，开发者通过设计通用或专用的神经网络加速装置，专门用来进行卷积和其他数学运算。与GPU和CPU相比，FPGA具有功耗低，体积小等优势，更容易部署于边缘端的神经网络计算。

与GPU和CPU运算平台不同的是，FPGA更适合进行定点运算。FPGA内部的硬件资源有限，特别是DSP资源和BRAM资源，是限制FPGA运算能力的瓶颈。采用定点数运算，可以大量节省DSP资源和BRAM资源的消耗，从而提高FPGA平台的运算能力。

然而FPGA只适合于进行卷积、激活、池化等线性操作，对于非线性计算则效率不高。对于这部分计算，更适合在CPU计算，而CPU适合进行浮点计算。将FPGA运算产生的定点数转换成CPU运算需要的浮点数，通常是在CPU中完成，这需要耗费大量的运算时间，限制了加速器的运算效率。

发明内容

本发明要解决的技术问题在于针对现有技术中加速器的运算效率不够高的缺陷，提供一种可节省运算时间提高运算效率的卷积神经网络加速器。

本发明解决其技术问题所采用的技术方案是：

本发明提供一种卷积神经网络加速器，包括控制模块、DMA、多个缓存、核心运算模块、浮点数转定点数模块、定点数转浮点数模块、整数转定点数模块，其中：

控制模块，用于配置输入特征图的大小，产生DMA的读写控制信号，输入特征图缓存、权重缓存、输出特征图缓存和中间计算结果缓存的双缓冲切换信号，缓存读写使能信号；控制模块还通过判断输入特征图缓存、权重缓存、输出特征图缓存的控制寄存器状态，来配置核心计算模块的运算使能信号；

整数转定点数模块，根据控制模块的配置信息将卷积神经网络第一层输入的原始的输入特征图数据转换为量化后的定点数，然后将定点数存储到输入特征图缓存；

浮点数转定点数模块，根据控制模块的配置信息将从外部存储器中输入的浮点数，按照量化结果转换为定点数，然后将定点数存储到输入特征图缓存；

定点数转浮点数模块，根据控制模块的配置信息将输出特征图缓存中的定点数转换为浮点数，转换得到的单精度浮点数通过DMA存入外部存储器；

输入特征图缓存，接收整数转定点数模块、浮点数转定点数模块或者DMA输入的定点数，并输出给核心运算模块；

权重缓存，接收经DMA输入的权重数据，并且输出给核心运算模块；

输出特征图缓模块，缓存核心计算模块计算出的中间结果或最终结果，通过DMA将核心模块计算结果或经过定点数转浮点数模块之后的结果存储到外部存储器；

核心运算模块，每个核心运算模块对应一个权重缓存和一个输出特征图缓存，所有的核心运算模块共用同一个输入特征图缓存，核心计算模块包括卷积运算模块、加法树、偏置模块、激活模块和池化模块，激活、池化操作与卷积运算耦合在一起，通过寄存器的方式配置激活和池化操作是否生效，在卷积运算完成后直接进行激活和池化操作。