[发明专利]利用训练过程压缩和记忆巩固构建增量式LSTM的方法

说明书

本发明公开了一种利用训练过程压缩和记忆巩固构建增量式LSTM的方法，本发明利用LSTM门单元的活跃度来选择训练过程中重要的输入时刻并压缩训练过程形成历史记忆，同时将压缩后的记忆与新数据上训练有效融合，利用历史信息巩固网络记忆以此满足对序列数据的增量式处理要求。该方法能避免现有LSTM系统存储开销大、训练效率低的问题，提高LSTM对动态增长的序列数据的训练效率，避免历史信息的遗忘，保证LSTM的有效性和实用性。

技术领域

本发明人工智能深度学习领域，尤其涉及一种能利用训练过程压缩和记忆巩固构建高效增量式LSTM的方法。

背景技术

近年来，随着新型人工智能技术的不断发展以及海量数据的爆炸式增长，如何借助新技术高效、准确、快速地处理并分析这些数据，挖掘其中蕴藏的巨大价值成为一项具有挑战性的任务。循环神经网络是一种流行的深度学习模型，适合于序列数据的分析与建模。长短时记忆网络(LSTM)是循环神经网络的一种变体，通过在记忆单元中添加门控机制，克服了传统循环神经网络训练中梯度消失问题，是应用最广泛的循环神经网络结构。

相比一般的循环神经网络，LSTM能处理更长的序列数据。但是，现有的LSTM在处理序列数据时一般采用批量学习模式(Batch Learning)，即假设在训练之前所有训练样本都可以一次性得到,并且在训练过程中这些样本不再发生变化。这种批量学习方式能够在给定数据集上达到较好的性能，但是这种学习方法不能有效处理数据的动态增长，无法适应实际应用中序列数据随时间不断增长的情形，与海量数据的处理需要差距甚远。现实世界中的数据是随时间逐渐增长的，实际应用中训练样本通常不可能一次全部得到,为了能及时处理新数据，必须重新进行模型的训练，即保留所有的历史数据，时间和空间开销巨大。另外，目前增量学习主要面向分类问题，大多采用卷积神经网络模型研究类增量学习，对于非分类的、更一般的序列数据增量分析还没有有效的处理方法。LSTM模型是分析序列数据的一种有效方法，但是现有LSTM不具备对序列数据增量分析的能力。可以考虑将历史训练过程压缩，将对历史数据的记忆在新数据的训练过程中不断巩固、强化，既避免了存储全部旧数据额外的空间开销，也可以克服对旧数据的“遗忘”。

发明内容

针对现有技术中的不足，本申请提出了一种利用训练过程压缩和记忆巩固构建增量式 LSTM的方法，以解决现有LSTM无法有效进行序列数据的增量学习问题，降低存储数据的空间开销，同时避免因新数据的学习而造成的对历史信息的遗忘，提高LSTM的实用性。

本发明所采用的技术方案如下：

利用训练过程压缩和记忆巩固构建增量式LSTM的方法，包括以下步骤：

步骤1，将序列数据分为若干个子序列数据集，将各个子序列数据集按批次进行增量式LSTM的训练；

步骤2，在当前批次子序列数据集S_i进行增量式LSTM训练结束后，保留模型的重要参数信息，同时根据LSTM遗忘门的活跃度选择重要时刻，将重要时刻的序列数据压缩得到数据集并用于下一批数据的训练；

步骤3，在下一批次子序列数据集S_i+1的训练过程中，利用融合训练历史信息的反向传播算法巩固LSTM记忆，同时保证系统在新旧数据集上的性能，避免对旧数据的遗忘，重复步骤2和步骤3，直至完成所有批次的训练，进而得到增量式LSTM。

进一步，所述步骤2中对当前批次子序列数据集S_i进行增量式LSTM训练，当训练收敛或迭代次数达到指定值时，停止当前批次的训练，得到模型M_i；

进一步，所述模型的重要参数信息包括最后一个时刻LSTM单元的长期记忆和短期记忆以及当前批次子数据集训练得到的网络权重集其中分别是LSTM遗忘门、输入门、输出门、记忆门的权重；