[发明专利]一种基于FPGA的高效LSTM加速器

权利要求书

1.一种基于FPGA的高效LSTM加速器，其特征在于，所述FPGA加速器内部包括多个计算单元、存储单元和控制单元；

所述计算单元包括矩阵向量乘法模块及Element_wise运算模块，所述矩阵向量乘法模块由4*N个DSP及4个加法器构成，所述N个DSP用于权重数据与输入数据的并行乘累加运算，并将N个乘累加结果相加得到单个门对应的结果向量，同时四个门的乘累加运算并行执行；Element_wise运算模块，用于计算当前时刻的细胞状态值和输出数据；所述多个计算单元采用并行运算及复用策略；

所述存储单元用于缓存LSTM网络计算所需的权重数据、输入数据、输出值、以及细胞状态值；所述控制单元用于控制LSTM网络计算的状态转换和数据流传输过程；

所述的Element_wise运算模块，采用时分复用的策略，将运算过程分成三个不同的状态周期，实际消耗的资源只有一个 sigmoid 激活函数模块，一个 tanh 激活函数模块，一个加法器和一个乘法器，最终得到当前时刻的细胞状态值以及当前时刻的输出值，具体包括以下计算步骤：

状态1：第一个周期将输入门对应的结果向量进行sigmoid函数激活计算得到输入门i，同时将记忆门对应的结果向量进行tanh函数激活计算得到记忆门g，然后将输入门i和记忆门g相乘；

状态2：第二个周期将遗忘门对应的结果向量进行sigmoid函数激活计算得到遗忘门f，将遗忘门f与上一时刻的细胞状态值C_t-1相乘后，再加上第一周期的输出i×g，更新当前时刻新的细胞状态值C_t；

状态3：第三个周期将输出门对应的结果向量进行sigmoid函数激活计算得到输出门o，同时将新的细胞状态值C_t进行tanh函数激活计算，然后将两者进行乘法运算得到当前时刻的输出值h_t。

2.根据权利要求1所述的基于FPGA的高效LSTM加速器，其特征在于，所述矩阵向量乘法模块，包括以下计算步骤：

步骤S1.将当前时刻输入x、上一时刻的输出h以及一个常数1合并为一个一维的长向量，将隐藏节点的权值以及偏置拼接成一个权重矩阵；

步骤S2.将合并后的长向量和权重矩阵进行乘法运算，四个门的乘累加运算并行执行，其中，每个门的乘累加运算由N个DSP并行执行，即每次依次将长向量中的N个输入值及权重矩阵中的4*N个权重值分配给每个门的DSP，4*N个DSP并行地进行乘累加运算，将每个门对应的N个DSP得到的结果值相加得每个门对应的结果向量，从而获得四个门对应的结果向量。

3.根据权利要求2所述的基于FPGA的高效LSTM加速器，其特征在于，所述FPGA加速器采用并行运算提升运算性能，为了提升加速性能，采用定点量化、流水线设计及分层与多块存储策略的优化手段。

4.根据权利要求3中所述的基于FPGA的高效LSTM加速器，其特征在于，所述定点量化为采用数据结构优化技术对浮点数据进行低位宽的定点量化，采用16位二进制来表示定点数，对于有符号数，最高位是符号位，有效位有15位，小数点之后可以有0-15位；对于无符号数，有效位有16位，小数点之后可以有0-16位。

5.根据权利要求4所述的基于FPGA的高效LSTM加速器，其特征在于，所述流水线设计为：矩阵向量乘法模块计算完成后将数据送入Element_wise模块后不需要等待，直接开始下一时刻的矩阵向量乘法运算，形成矩阵向量乘法运算和Element_wise运算的流水线设计。

6.根据权利要求4所述的基于FPGA的高效LSTM加速器，其特征在于，所述分层与多块存储策略为存储单元划分为权重缓存、输入缓存、输出缓存及计算单元的内部缓存，将LSTM网络每一层的权重数据存储在权重缓存的多个BRAM内，后续并行地从多个BRAM中读取权重数据依次传输至计算单元的内部缓存，从而完成每个计算单元中4个门对应的权重矩阵读入；当前时刻的输出值缓存在输出缓存中以便提供给下一时刻的计算，通过分层与多块存储策略可以有效减少数据交换的时间。