[发明专利]一种长短时神经网络的训练方法及装置

权利要求书

1.一种长短时神经网络的训练方法，应用于一神经网络单元，其特征在于，包括：

获取第一环节的第一输入，所述第一环节为神经网络单元的多个环节中的任意一个，所述环节包括：遗忘环节、输入环节和输出环节中的至少一项；

对所述第一输入进行压缩处理，得到第二输入；

根据所述第二输入以及所述第一环节对应的激活函数和/或第一计算公式，获取所述第一环节对应的第一输出；

若所述第一环节为所述输出环节，确定所述第一输出为所述神经网络单元的隐藏层输出，或者，若所述第一环节不为所述输出环节，进行第二环节中基于所述第一输出的第一子环节的处理，其中，所述第一子环节位于所述第一环节之后。

2.根据权利要求1所述的长短时神经网络的训练方法，其特征在于，

所述遗忘环节中的子环节至少包括遗忘门环节；

所述输入环节中的子环节至少包括输入门环节、输入信息获取环节和细胞状态更新环节中的一项；

所述输出环节中的子环节至少包括输出门环节和隐藏输出环节中的一项。

3.根据权利要求1或2所述的长短时神经网络的训练方法，其特征在于，所述第一输入包括下述中的至少一项：

输入时间窗口对应的目标特征向量、第三环节的第二输出、参考隐藏层输出以及参考细胞状态；

其中，所述第三环节位于所述第一环节中的第二子环节之前，所述第二子环节基于所述第二输出进行处理；

当所述神经网络单元为初始神经网络单元时，所述参考隐藏层输出为预设输出，所述参考细胞状态为预设细胞状态；当所述神经网络单元不为所述初始神经网络单元时，所述参考隐藏层输出为前一个神经网络单元的隐藏层输出，所述参考细胞状态为所述前一个神经网络单元输出的细胞状态。

4.根据权利要求3中任一项所述的长短时神经网络的训练方法，其特征在于，所述对所述第一输入进行压缩处理，得到第二输入包括：

根据所述第一环节中子环节的类型，获取与所述激活函数的自变量对应的第二计算公式；

将所述第一输入中与所述第二计算公式对应的参数代入所述第二计算公式中，得到计算结果；

对所述计算结果的绝对值求m次方根，得到所述自变量，m大于或等于2，所述自变量的正负与所述计算结果的正负相同；

将所述第一输入中不与所述第二计算公式对应的参数以及所述自变量，确定为所述第二输入。

5.根据权利要求3所述的长短时神经网络的训练方法，其特征在于，当所述第一输入包括所述目标特征向量时，所述目标特征向量为与所述输入时间窗输入的第一数据对应的相似矩阵的映射向量，其中，所述相似矩阵根据所述第一数据以及历史数据进行相似度计算得到，所述历史数据为输入所述第一数据的时刻之前通过所述输入时间窗输入的数据。

6.一种控制装置，其特征在于，包括：

第一处理模块，获取第一环节的第一输入，所述第一环节为神经网络单元的多个环节中的任意一个，所述环节包括：遗忘环节、输入环节和输出环节中的至少一项；

第二处理模块，用于对所述第一输入进行压缩处理，得到第二输入；

第三处理模块，用于根据所述第二输入以及所述第一环节对应的激活函数和/或第一计算公式，获取所述第一环节对应的第一输出；

第四处理模块，用于若所述第一环节为所述输出环节，确定所述第一输出为所述神经网络单元的隐藏层输出，或者，若所述第一环节不为所述输出环节，进行第二环节中基于所述第一输出的第一子环节的处理，其中，所述第一子环节位于所述第一环节之后。

7.一种文本处理系统，其特征在于，包括如权利要求6所述的控制装置。

8.一种移动终端，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的长短时神经网络的训练方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的长短时神经网络的训练方法的步骤。