[发明专利]应用于长短时记忆神经网络的计算装置和计算方法

说明书

本发明提供一种应用于长短时记忆神经网络的计算装置和计算方法。该计算装置包括：计算单元，用于执行长短时记忆神经网络的遗忘门函数、输入门函数、输出门函数以及记忆单元状态的计算；向量计算单元，用于基于长短时记忆神经网络的上一时刻的记忆单元状态值向量和计算获得的当前时刻的遗忘门值向量、当前时刻的输入门值向量、当前时刻的输出门值向量和当前时刻的记忆单元的即时状态值向量获得长短时记忆神经网络的当前时刻的输出值向量以及当前时刻的记忆单元状态值向量。根据本发明的计算方法和计算装置能够提高长短时记忆神经网络的资源利用率和计算效率。

技术领域

本发明涉及深度学习技术领域，尤其涉及一种应用于长短时记忆神经网络的计算装置和计算方法。

背景技术

长短时记忆神经网络(LSTM)是一种特殊的循环神经网络，具有能够学习的长期依赖的能力，可应用于学习语言翻译、机器人控制、图像分析、文档摘要、语音识别、手写识别等。LSTM在目标数据处理过程中，可记住很长时间的信息。在LSTM应用过程中，通常是在算法中加入一个具有判断能力的处理单元，该处理单元中包含输入门、遗忘门与输出门，依据规则判断输入信息是否有用，将符合算法认证的信息保留，而将不符合的信息通过遗忘门遗忘，LSTM计算过程的主要占用部分为各门值向量的乘累加运算与各层的迭代运算过程，该过程主要是将门值向量与权重进行乘累加等处理，将结果传输作为下一层网络的输入，并执行相同的运算。

然而，在现有的LSTM网络计算过程中，由于通常采用简单的门电路结构来进行计算，从而导致向量与权重的乘累加过程与部分门值向量的运算存在串联关系，计算资源的利用率与数据处理的快速性难以同时保持，不可避免的出现计算资源的闲置状态，降低了资源利用率，此外，LSTM网络中存在访存次数高和运行功耗低的问题。

因此，需要对现有技术进行改进，以提高LSTM神经网络的数据处理的实时性和计算资源利用率，并降低计算功耗，以将LSTM神经网络推向例如智能穿戴、智能机器人、自动驾驶以及模式识别等更广泛的领域。

发明内容

本发明的目的在于克服上述现有技术的缺陷，提供一种应用于LSTM网络中矩阵运算和向量运算的计算装置。

根据本发明的第一方面，提供了一种应用于长短时记忆神经网络的计算装置。该计算装置包括：

计算单元，用于执行长短时记忆神经网络的遗忘门函数、输入门函数、输出门函数以及记忆单元状态的计算，获得当前时刻的遗忘门值向量、当前时刻的输入门值向量、当前时刻的输出门值向量和当前时刻的记忆单元的即时状态值向量，其中，所述当前时刻的记忆单元的即时状态值向量用于反映长短时记忆神经网络的短期记忆；

向量计算单元，用于基于长短时记忆神经网络的上一时刻的记忆单元状态值向量和所述当前时刻的遗忘门值向量、当前时刻的输入门值向量、当前时刻的输出门值向量和当前时刻的记忆单元的即时状态值向量获得长短时记忆神经网络的当前时刻的输出值向量以及当前时刻的记忆单元状态值向量，其中，所述上一时刻的记忆单元状态值向量用于反映长短时记忆神经网络的长期记忆。

在一个实施例中，本发明的计算装置包括四个所述计算单元，其并行执行相关计算，其中，第一计算单元执行遗忘门函数的计算，得到所述当前时刻的遗忘门值向量；第二计算单元执行输入门函数的计算，得到所述当前时刻的输入门值向量；第三计算单元执行记忆单元状态的计算，得到所述当前时刻的记忆单元的即时状态值向量；第四计算单元执行输出门函数的计算，得到所述当前时刻的输出门值向量。

在一个实施例中，所述向量计算单元包括：

第一乘法单元，用于接收所述上一时刻的记忆单元状态值向量以及来自于所述第一计算单元的所述当前时刻的遗忘门值向量；

第二乘法单元，用于接收来自于所述第二计算单元的所述当前时刻的输入门值向量和所述第三计算单元的所述当前时刻的记忆单元的即时状态值向量；