[发明专利]一种基于固定特征的调制信号增量学习方法

说明书

一种基于固定特征的调制信号增量学习方法，包括以下步骤：S1构造以64层LSTM网络层结构为模型的主干网络，数据集更新方式采用代表性记忆方法；S2损失函数为交叉熵和知识蒸馏函数，缓解灾难性遗忘问题；S3训练方式采用任务相关的门机制训练LSTM模型；S4重载上一增量阶段训练的最佳模型，重复步骤S2～S3，评估在所有测试集上的性能，直到训练完所有增量数据。本发明使得特征不再受到增量任务的影响而变化，从而保证后续的再利用，具有较高的实用价值。

技术领域

本发明涉及知识蒸馏(Knowledge Distillation)技术和代表性记忆(RepresentativeMemory)方法，利用任务相关的门机制(Task-Dependent Gating)的技巧，在缓解增量学习中的灾难性遗忘问题的同时，并且固定在各个增量阶段中提取的特征，从而在原有数据集上的实现高效的调制信号增量学习以及保证特征的再利用性。

背景技术

近年来，深度学习正在取得重大进展，解决了多年来人工智能领域未能尽最大努力解决的问题。它已被证明擅长发现高维数据中的复杂结构，因此可以应用于科学、商业和政府等领域。深度学习在搜索技术、数据挖掘、机器学习、机器翻译、自然语言处理、多媒体学习、语音、推荐和个性化技术，以及其它相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很大进步。

深度神经网络(Deep Neural Networks,DNNs)通过学习数据集中的知识，从而训练出一个模型能够在当前任务下实现特征提取和分类识别，但是各个领域的任务大不相同，即使对模型的参数空间稍作修改都会对模型输出产生极大的影响。实际应用场景中，数据集都是随着时间逐步收集的。所以，学习任务通常被划分为多个阶段，称之为增量学习(Incremental Learning)。传统的学习策略应用于增量学习会造成在新任务识别能力很高的同时，旧任务上的识别能力大幅度下降。这就是DCNN增量训练的另一个难题——灾难性遗忘问题，可参考文献1(I.J.Goodfellow,M.Mirza,D.Xiao,A.Courville,and Y.Bengio.“An empirical investigation of catastrophic forgetting in gradient-basedneural networks.”arXiv preprint arXiv:1312.6211,2013,即I.J.Goodfellow,M.Mirza,D.Xiao,A.Courville,and Y.Bengio.基于梯度的神经网络中灾难性遗忘的证实研究.arXiv preprint arXiv:1312.6211,2013)。由于新的数据被输入DNNs时，旧的数据就不会被再训练，从而模型会遗忘之前的学习任务。