[发明专利]一种基于变分自注意力强化学习的遥感图像内容描述方法

说明书

本发明公开了一种基于变分自注意力强化学习的遥感图像内容描述方法，属于计算机视觉和自然语言处理的交叉领域；包括：使用遥感图像分类数据集，预训练融合变分自编码器的卷积神经网络；使用预训练的卷积神经网络提取遥感图像的空间特征和语义特征；使用自注意力使空间特征融合上下文信息；使用遥感图像内容描述数据集，使用Transformer解码空间特征和语义特征，融合特征，输出遥感图像内容的文本描述；使用强化学习提升文本描述质量。本发明利用遥感图像分类数据集，融合变分自编码器进行卷积神经网络预训练，使用自注意力机制，特征融合，强化学习，优化了遥感图像内容描述文本的质量。

技术领域

本发明涉及遥感图像处理技术和自然语言生成技术领域，尤其涉及一种基于变分自注意力强化学习的遥感图像内容描述方法。

背景技术

遥感是一种非接触、远距离的探测技术。一般来说，它是用来探测和识别目标物体本身通过传感器发射或反射的电磁波、红外线和可见光。随着遥感技术的飞速发展，特别是近年来高分辨率遥感影像的出现，这项技术已成为及时进行全球或区域地球观测的重要手段。遥感影像的规模也在逐步扩大，影像内容提供的信息也越来越丰富。

图像内容描述的目标是生成给定图像内容的文本描述，在机器理解图像内容上有很重要的地位。传统的图像内容描述模型由编码器和解码器组成。编码器选择卷积神经网络提取图像的特征，解码器选择长短期记忆网络生成图像内容的文本描述。遥感图像内容描述作为图像内容描述的重要组成部分，可以利用机器提升遥感图像的效率，目前已经越来越受到人们的重视。

传统的图像内容描述方法应用在遥感图像上仍存在问题。现有的模型大多关注于遥感图像本身的特征提取，忽视了卷积神经网络更高层的语义信息以及语义信息所表示的空间信息中各个物体之间的联系，而这对遥感图像内容的理解是至关重要的。遥感图像有独特的特点，相比于自然图像内容描述，遥感图像独有的上帝视角使得图像本身容易失去焦点，在文本内容的生成阶段更加困难。

目前很多模型采用的长短期记忆网络有很大的局限性。在建模长文本的文本特征时，由于长短期记忆网络本身架构的局限性，很容易造成长文本前方的信息损失。引入门机制和注意力机制只能减缓此问题。另外，长短期记忆网络处理下一阶段的输出依赖上一阶段的结果，这导致长短期记忆网络无法并行训练，影响了训练效率。

文本生成任务上损失函数通常基于语言模型构建，选择交叉熵函数。而在评价模型性能时，选择的是人们手动设计的各种评判标准。这就导致了训练阶段和测试阶段的不匹配问题，训练时的性能并不能完全反映测试时的性能。

针对上述问题，有研究者们给出了改进。Transformer作为一个被最新提出的架构，已经被证明在多项任务上可以取代长短期记忆网络获得更好的文本特征建模性能。与此同时，Transformer独特的自注意力机制减缓了长文本建模的信息衰减问题，完全避免了长短期记忆网络无法并行训练的问题。也有研究者将强化学习引入到文本生成，使用文本生成的评价标准作为奖励函数，在传统的训练阶段完成过后使用强化学习提高模型生成的文本的质量。

发明内容

发明目的：为了克服现有技术中存在的不足，本发明提供一种基于变分自注意力强化学习的遥感图像内容描述方法，在遥感图像分类数据集上预训练编码器，编码器采用卷积神经网络，并且添加了变分自编码器提升了卷积神经网络的性能。使用训练之后的卷积神经网络提取语义特征和空间特征，执行自注意力机制之后，输入到解码器中。解码器采用微调网络结构的Transformer，输出原始的遥感图像描述内容之后使用自评判序列训练提升生成文本的质量。

技术方案：为实现本发明的目的，本发明所采用的技术方案是：

一种基于变分自注意力强化学习的遥感图像内容描述方法，包括如下步骤：

步骤一，融合变分自编码器和卷积神经网络，构建遥感图像内容描述编码器；构建遥感图像分类数据集，并使用该数据集预训练遥感图像内容描述编码器；