[发明专利]稀疏GRU神经网络加速的实现方法和装置

说明书

本发明提供了稀疏GRU神经网络加速的实现方法和装置，其中方法包括以下步骤：S1、使用CPU或GPU训练GRU神经网络模型，并对训练后的模型参数进行剪枝和量化；使用三元组方法存储稀疏的参数矩阵，并对模型的输入进行量化；S2、使用buffer将存储模型参数的三元组和量化后的输入传输至FPGA的外部存储器中；S3、在FPGA中实现稀疏GRU神经网络的计算，并将最终结果传输至所述外部存储器中。本稀疏GRU神经网络加速的实现方法和装置能够提高计算效率，减少了输入传输的时间和数据传输的次数，从而降低功耗和延时。

技术领域

本发明涉及神经网络技术领域，尤其涉及稀疏GRU神经网络加速的实现方法和装置。

背景技术

近年来，深度学习的崛起不断推动着人工智能的发展。而深度神经网络作为深度学习的重要工具，其通过增加模型的层数和更多的训练数据量来保证模型的拟合能力，带来的是模型权重参数和计算量的爆炸式增长。为了提升神经网络的性能，常采用异构计算方案。目前大部分研究者都使用GPU来加速深度神经网络，图形处理器(GPU)被用于计算密集任务，具有高带宽、高并行性的特点，但其具有较高的功耗，一块高性能的GPU芯片的功耗可达300W以上。ASIC也是异构加速器的一种。ASIC是一种为专用目的设计、面向特定用户需求的定制芯片，具有性能更强、体积更小和可靠性更高等优点，广泛用于工业生产。但由于其属于定置电路，因此具有较低的灵活性，并不适合加速不断发展、更新的深度神经网络。FPGA(Field-Programmable Gate Array，现场可编程门阵列)属于专用集成电路中的一种，采用硬件的方式来实现逻辑和算法，可以针对需求设计多种计算部件来同时实现数据并行和流水线并行。

循环神经网络(RNN)是一种深学习应用常用网络。为解决循环神经网络带来的梯度爆炸问题，研究者提出了RNN的变体长短时记忆网络(LSTM)以及从LSTM改进的门控循环单元网络(GRU)。GRU通过简化LSTM循环单元的结构减少了计算所需的参数，从而提高了网络整体性能，被广泛应用于机器翻译、文本分类和文本生成等实际应用中。通常研究者使用GPU来加速GRU神经网络，但由于GRU神经网络具有时序依赖的特性，很难达到高度并行。现有的大多数FPGA神经网络加速器都是针对卷积神经网络或全连接神经网络而设计的，对GRU神经网络支持较少。同时大多数深度神经网络均具有参数多、计算量大的特点，如何利用资源有限的FPGA进行加速仍是难点。

发明内容

有鉴于此，本发明要解决的技术问题是提供稀疏GRU神经网络加速的实现方法和装置，能够基于FPGA实现稀疏GRU神经网络的加速。

本发明的技术方案是这样实现的：

一种稀疏GRU神经网络加速的实现方法，包括以下步骤：

S1、使用CPU或GPU训练GRU神经网络模型，并对训练后的模型参数进行剪枝和量化；使用三元组方法存储稀疏的参数矩阵，并对模型的输入进行量化；

S2、使用buffer将存储模型参数的三元组和量化后的输入传输至FPGA的外部存储器中；

S3、在FPGA中实现稀疏GRU神经网络的计算，并将最终结果传输至所述外部存储器中。

优选的，所述使用三元组方法存储稀疏的参数矩阵具体包括：

将参数矩阵分为n*m块，以块为单位进行排序；在进行稀疏矩阵压缩时，保持分块的顺序，序号靠前的块中的元素存储在序号靠后的块中的元素之前。

优选的，所述在FPGA中实现稀疏GRU神经网络的计算具体包括：

通过加速器实现稀疏GRU神经网络的计算，所述加速器包括输入读取模块、模型参数解码模块、上一时刻状态传递模块、计算模块和输出写回模块。

优选的，所述输入读写模块包括输入读写单元，用于从FPGA的外部存储器中读取GRU神经网络的输入；