[发明专利]一种基于FPGA的高效LSTM加速器

说明书

本发明公开了一种基于FPGA的高效LSTM加速器，FPGA加速器内部包括多个计算单元、存储单元和控制单元；计算单元包括矩阵向量乘法模块及Element_wise运算模块，矩阵向量乘法模块由4*N个DSP及4个加法器构成，N个DSP用于权重数据与输入数据的并行乘累加运算，并将N个乘累加结果相加得到单个门对应的结果向量，同时四个门的乘累加运算并行执行；Element_wise运算模块，用于计算当前时刻的细胞状态值和输出数据；多个计算单元采用并行运算及复用策略；存储单元用于缓存LSTM网络计算所需的权重数据、输入数据、输出值、以及细胞状态值；控制单元用于控制LSTM网络计算的状态转换和数据流传输过程，本发明FPGA加速器相对于通用处理器具有高性能、低功耗及大吞吐量的特点。

技术领域

本发明涉及计算机硬件加速领域，尤其是涉及一种基于FPGA的高效LSTM加速器及其设计方法。

背景技术

长短期记忆网络(Long Short-Term Memory，LSTM)是循环神经网络中的一个典型的代表，可以有效的解决循环神经网络中的长时依赖问题。随着应用规模的增大，神经网络模型算法的计算量和存储复杂度也在不断增大，大规模的神经网络模型在训练和预测过程中均需要考虑到存储、计算性能和能耗方面的问题，因此如何以高性能和低能耗的方式实现神经网络算法应用，是目前研究的热点。

现有的通用计算平台(CPU、GPU)受限于串行执行的结构，并行计算能力极其有限，且计算和存储相分离的结构使数据搬移占用大量存储器带宽和功耗，很难满足实际智能应用对功耗和性能的综合需求。FPGA由于具有可编程性、可重构性、高并行性以及低功耗等优点更适合作为神经网络硬件加速的平台。目前，一些研究人员针对卷积神经网络的推理阶段利用FPGA实现高性能加速，能效比可以达到GPU的3倍。因此根据LSTM网络算法自身的算法特性设计一种基于FPGA的高效LSTM硬件加速器，实现高性能和高并行度，减少运算过程中不必要的逻辑，获得更低的功耗开销，是当前非常具有研究价值的研究课题。

发明内容

本发明的目的是：提供一种基于FPGA的高效LSTM加速器，根据LSTM专用神经网络结构，在FPGA平台实现LSTM神经网络前向推理的完整运算过程。采用多个计算单元并行运算及复用策略，同时单个计算单元内4个门采用并行乘累加运算以及在单个门内采用N个DSP并行乘累加运算，同时采用定点量化、流水线设计及分层与多块存储加速策略，提升硬件加速器的计算性能，相对于通用处理器具有高性能和低功耗的特点。

本发明的技术方案是：

一种基于FPGA的高效LSTM加速器，所述FPGA加速器内部包括多个计算单元、存储单元和控制单元；

所述计算单元包括矩阵向量乘法模块及Element_wise运算模块，所述矩阵向量乘法模块由4*N个DSP及4个加法器构成，所述N个DSP用于权重数据与输入数据的并行乘累加运算，并将N个乘累加结果相加得到单个门对应的结果向量，同时四个门的乘累加运算并行执行；Element_wise运算模块，用于计算当前时刻的细胞状态值和输出数据；所述多个计算单元采用并行运算及复用策略；

所述存储单元用于缓存LSTM网络计算所需的权重数据、输入数据、输出值、以及细胞状态值；所述控制单元用于控制LSTM网络计算的状态转换和数据流传输过程。

进一步地，所述矩阵向量乘法模块，包括以下计算步骤：

步骤S1.将当前时刻输入x、上一时刻的输出h以及一个常数1合并为一个一维的长向量，将隐藏节点的权值以及偏置拼接成一个权重矩阵；

步骤S2.将合并后的长向量和权重矩阵进行乘法运算，四个门的乘累加运算并行执行，其中，每个门的乘累加运算由N个DSP并行执行，即每次依次将长向量中的N个输入值及权重矩阵中的4*N个权重值分配给每个门的DSP，4*N个DSP并行地进行乘累加运算，将每个门对应的N个DSP得到的结果值相加得每个门对应的结果向量，从而获得四个门对应的结果向量。