[发明专利]一种基于变分自注意力强化学习的遥感图像内容描述方法

权利要求书

1.一种基于变分自注意力强化学习的遥感图像内容描述方法，其特征在于：该方法包括如下步骤：

步骤一，融合变分自编码器和卷积神经网络，构建遥感图像内容描述编码器；构建遥感图像分类数据集，并使用该数据集预训练遥感图像内容描述编码器；

1-1，使用在ImageNet上预训练的卷积神经网络作为内容描述编码器的骨架网络；构建遥感图像分类数据集，包含遥感图像和对应的类别；根据构建的数据集的类别数目，修改卷积神经网络的全连接层，使其输出的维度适应遥感图像分类数据集的类别数目；

1-2，获得卷积神经网络的自适应池化层输出，在自适应池化层之后对称于自适应池化层之前的网络层结构添加变分自编码器；

1-3，使用遥感图像分类数据集预训练融合变分自编码器的卷积神经网络，得到训练后的卷积神经网络；

1-4，使用训练好的卷积神经网络获得遥感图像的语义特征和空间特征，在空间特征上执行自注意力机制，使空间特征融合上下文信息，将语义特征和融合上下文信息的空间特征输入到解码器；

步骤二，构建遥感图像内容描述解码器，输入遥感图像内容描述编码器编码得到的特征至解码器，融合解码器解码的特征，输出遥感图像内容描述文本；

2-1，使用Transformer作为遥感图像内容描述解码器，Transformer子模块的数量可以任意指定；

2-2，调整Transformer的网络结构，添加Dropout，缓解在遥感图像内容描述数据集规模达不到预期的情况下的过拟合问题；添加残差连接，缓解深度神经网络的梯度消失问题并且加速模型的收敛；

2-3，在Transformer输出的文本特征上做自适应的特征融合；

2-4，使用Transformer解码融合之后的文本特征，采用交叉熵损失函数，训练Transformer，输出原始的遥感图像内容的文本描述；

步骤三，使用基于强化学习的自评判序列训练作为解码器参数更新策略，使用选定的语言质量评价指标作为奖励，提升文本描述质量，得到优化的遥感图像内容描述网络；

步骤四，使用优化后的遥感图像内容描述网络，输出遥感图像内容描述文本。

2.根据权利要求1所述的基于变分自注意力强化学习的遥感图像内容描述方法，其特征在于：所述步骤1-1，具体包括：删除骨架卷积神经网络结构中适应于ImageNet分类标准的全连接层；添加适应于已构建的遥感图像分类数据集分类标准的全连接层和柔性最大值层。

3.根据权利要求1所述的基于变分自注意力强化学习的遥感图像内容描述方法，其特征在于：所述步骤1-2，变分自编码器网络包含反卷积层、堆正则化、激活函数，其架构为卷积神经网络自适应池化层之前全部网络层的镜像架构。

4.根据权利要求1所述的基于变分自注意力强化学习的遥感图像内容描述方法，其特征在于：所述步骤1-3，具体包括如下：

1-3-1，将构建好的遥感图像分类数据集以一定的比例分割为训练集和验证集；将训练集作为融合变分自编码器的卷积神经网络的输入，网络的输出包含当前输入遥感图像的分类类别和变分自编码器对当前输入遥感图像进行还原的图像；

1-3-2，使用交叉熵损失、均方误差和KL散度的加和作为损失函数，均方误差和KL散度的系数作为超参数；交叉熵损失描述预测标签和真实标签的误差，均方误差描述变分自编码器还原的遥感图像和输入遥感图像的误差，KL散度描述变分自编码器中间特征概率分布和输入遥感图像特征概率分布的误差；

1-3-3，使用亚当优化器优化融合变分自编码器的卷积神经网络的参数，得到训练后的卷积神经网络。

5.根据权利要求4所述的基于变分自注意力强化学习的遥感图像内容描述方法，其特征在于：所述步骤1-3-3，网络的训练策略如下：每在训练集上训练一个周期，在验证集上计算当前网络的遥感图像分类精度和分类损失；分类精度为当前网络在验证集上进行遥感图像分类的准确率，分类损失为当前网络在验证集上的损失函数的数值；

在分类损失停止下降的周期超过预先设定的阈值时，降低亚当优化器的学习率，继续训练；在分类精度停止上升的周期超过预先设定的阈值时，停止训练，并保存融合变分自编码器的卷积神经网络的参数。