[发明专利]用于不平衡高分辨率遥感影像的在线持续目标检测方法

说明书

用于不平衡高分辨率遥感影像的在线持续目标检测方法，属于基于深度学习的目标检测技术领域。本发明针对在线目标检测存在灾难性遗忘以及高分辨率遥感影像中的类别不平衡导致对数量较少的小类别目标识别能力差的问题。包括建立缓冲区用以存储目标检测过程中已完成的部分检测数据，包括已有类别的历史样本图像，在缓冲区未满时，顺序添加样本图像；缓冲区已满时，基于平衡原则添加样本图像；建立重播机制，通过概率随机选择函数按图像权重对样本图像进行随机选择，使图像权重越大的样本图像被选择的可能性越大，获得选定样本图像作为重播图像；使用重播图像与当前批次图像共同训练检测器，获得训练后的检测器用于目标检测。本发明用于在线目标检测。

技术领域

本发明涉及用于不平衡高分辨率遥感影像的在线持续目标检测方法，属于基于深度学习的目标检测技术领域。

背景技术

深度卷积神经网络(DCNNs)在遥感领域的目标检测方面具有出色的成绩，包括道路检测，建筑物检测以及飞机检测等。

大多数目标检测器倾向于遵循离线学习的方式：检测器每次从静态数据集中提取出小批量的样本进行训练，并且在整个训练集上学习多个轮次。随着遥感成像技术的发展，每天都会产生大量的高分辨率遥感影像。高分辨率遥感影像的不断增加给离线学习带来了巨大的挑战。当新的任务出现时，离线学习的方式无法在不遗忘旧任务的情况下持续更新检测器。相反，人类和哺乳动物在一生中可以学习大量任务，而且不会忘记以前学习的知识。为了达到相同的效果，在线连续学习成为近年来的热门话题。它可以即时有效地学习不断输入的新训练数据，而且无需重新学习先前的所有数据。与离线学习相比，在线持续学习具有更高的效率，更好的可伸缩性以及对不断变化的环境的更强适应性。如图27和图28所示，具体地说，在线持续学习仅训练一个轮次，并且在输入新数据时避免重新训练所有数据。而离线学习则需要在混合了新数据和旧数据的数据集上训练多个轮次。因此，与离线学习方式相比，在线持续学习对计算资源和存储资源的要求更低。

在线持续学习可以使检测器有效地学习并记住越来越多的高分辨率遥感影像。其中，关键的挑战之一是避免灾难性的遗忘问题。具体来说，当从新数据中学习信息时，使用在线持续学习方式的检测器更新模型的参数，如果参数更新太多，检测器可能会忘记与过去数据相关的知识。为了解决灾难性的遗忘问题，现有的解决方法可以分为三类：基于正则化的方法、基于参数隔离的方法和基于重播的方法。基于正则化的方法通过对目标进行正则化来减轻灾难性的遗忘，这既可以减弱已学习过的任务的特征漂移，也可以防止与过去任务相关的权重发生变化。基于参数隔离的方法针对不同任务调整各种参数，以避免新任务对旧任务的干扰。基于重播的方法可以将过去任务的数据子集直接存储在缓冲区中，也可以使用生成模型(例如GAN)进行压缩。在学习新数据时，旧样本将从缓冲区中重播或由生成模型生成，这些样本用于重新训练或者作为当前任务的约束。其中前两种方法将神经元与各种任务联系在一起，因此在训练和测试阶段必须划分数据的任务边界。为了避免对任务边界的依赖，更加关注于基于重播的方法。特别地，经验重播(Experience Replay)是一种可用于在线流的基于重播的特殊方法，它使用较小的内存来存储先前数据的一些示例，然后当输入小批次的新数据时，重播相同数量的旧数据一起训练模型。现有的绝大多数基于重播的在线持续学习方法都用于图像分类。由于以下原因，使得这些方法不能直接用于目标检测：

1)在分类中，每个图像都被视为一个实例；而在目标检测中，一张图像中可能包含多个类和多个实例；2)分类尝试回答图像中的物体是什么，而目标检测还需要位置信息来确定目标在哪里。