[发明专利]一种时空过程深度学习模型实时流数据增量学习方法

说明书

本发明公开了一种时空过程深度学习模型实时流数据增量学习方法，包括准备一段历史时期的径流数据和降雨数据，获得数据流；将数据流输入时空过程深度学习模型进行定期训练，得到模型参数；将历史数据和实时数据合并后进行周期性切片得到多个子数据集，计算子数据集与全部数据的分布参数差值和时序相似性度量差值得到回放分数并排序；选取回放分数高的子数据集作为回放数据进行增量训练，增量训练过程中计算参数重要性，为时空过程深度学习模型训练损失施加正则化约束并调整所述模型的超参数；得到使用时空过程深度学习模型实时流数据增量学习方法的训练结果。本发明适用不同时空过程深度学习模型，且训练效率提升明显的情况下准确率损失较低。

技术领域

本发明属于地理信息分析挖掘和地理智能技术领域，特别涉及一种时空过程深度学习模型实时流数据增量学习方法。

背景技术

使用深度学习模型进行时空过程进行分析挖掘时，对于源源不断到达的新增流数据，使用全部的历史数据分析挖掘往往带来难以承受的时间开销，面临着模型数据量和模型精度无法同时满足困境。一般来说，稀疏是加速各种神经网络训练的核心思想，是指减少一些不太重要的输入数据或神经网络训练的中间过程。从减少模型输入数据的角度，可以提出一种定期使用历史数据训练的情况下，选取部分具有代表性的少量数据进行增量训练深度学习模型实时流数据增量学习方法。该方法考虑到时空数据特征，借鉴回放和正则化方法范式来完成。

回放方法是指当新的增量数据到来时，将之前数据中的部分数据重新输入模型训练。最初的回放方法是受到生物学的启发，通常关注如何使用部分历史数据进行训练。从以前的历史中回放的数据可以用来约束基于新数据的参数更新，使其保持在以前的可行区域内。排练方法通常设置一个缓冲区来保存部分历史数据，并从缓冲区中播放随机数据，或从基于以前数据训练的生成模型中回放生存的伪数据。回放方法又可分为原始回放方法和生成回放方法，分别指使用真实的历史数据和生成伪数据。随着生成式对抗网络(GAN)的兴起，通常应用于以往数据难以获取的情况下，可以选择生成回放方法。回放的本质问题是回放数据的选择标准。一些成功的增量学习方法将以前学习过的原始输入的子集存储在回放缓冲区中。样本选择过程可以描述为一个有约束的数据多样性最大化的优化问题，相似度指标也会影响样本选取。回放的整体选择性抽样方法在某些特定情况下效果良好，而均匀随机抽样对平均问题仍有较强的自适应能力。选择性回放方法除了提高准确率外，还可以提高数据效率，使得网络学习新信息所需的数据更少。在学习了其他类似任务后，神经网络需要更少的训练时间来达到一个新任务的目标精度。任务相似性和网络性能在准确性和时间方面的这些发现已经被研究过，可以进一步讨论考虑输入作为时间序列。无论回放的具体形式如何，回放与正则化方法范式相结合，以提高模型的性能。

正则化指在对连续任务进行训练时，将模型的某些部分冻结起来，可以理解为将如何解决不同任务的知识存储在模型的不同部分中，以便后续任务的训练不干扰这些知识。有时，权重不是完全固定的，而是正则化的，这样在跨不同任务训练模型时不会剧烈变化。弹性权重巩固方法(EWC)中，当在一系列任务中训练模型时，学习速度会因为前序任务重要的权重参数而减慢。具体来说，EWC可以通过重新参数化网络来近似对角化网络参数的Fisher信息矩阵来扩展。重新参数化导致参数空间的因式旋转，使对角费雪信息矩阵假设更适用。此外，还对重要权重的计算提出了其他改进方法。与EWC结构相似的Memory AwareSynapses(MAS)在损失函数中增加了一项，该项由模型输出的l2范数的平方梯度获得。