[发明专利]基于多尺度裁剪机制的遥感图像文字说明生成方法

说明书

本发明公开了一种基于多尺度裁剪机制的遥感图像文字说明生成方法，用于解决现有遥感图像文字说明生成方法存在过拟合现象的技术问题。技术方案是在数据集中的遥感图像输入CNN之前，对原始遥感图像按照多个不同的尺度裁剪为大小不一的图像块，再将裁剪后的图像块重新缩放到统一尺寸大小，输入到编码器‑解码器模型中，从而使数据集得到扩充，同时使得CNN能更好地提取图像中的全局特征与局部特征，有效地减少因数据集中图像数量有限所造成的过拟合现象，进一步提高遥感图像文字说明生成任务的准确度。同时，通过裁剪多个尺度图像块进行训练，显著提高了模型的泛化能力。

技术领域

本发明涉及一种遥感图像文字说明生成方法，特别涉及一种基于多尺度裁剪机制的遥感图像文字说明生成方法。

背景技术

文献“B.Qu,X.Li,D.Tao,and X.Lu,Deep Semantic Understanding of HighResolution Remote Sensing Image.International Conference on Computer,Information and Telecommunication Systems,124-128,2016”提出了一种基于深度多模态神经网络模型的高分辨率遥感图像文字说明生成方法。该方法基于编码器-解码器模型分为两个阶段：图像理解阶段和文字说明生成阶段。图像理解阶段首先通过卷积神经网络(Convolutional Neural Network)CNN对遥感图像的视觉特征进行深度提取，将提取到的特征编码为一个固定长度的特征向量，然后在文字说明生成阶段分别通过序列模型中的循环神经网络(Recurrent Neural Network)RNN和长短期记忆网络(Long Short-TermMemory)LSTM，对图像理解阶段提取到的图像特征进行解码，从而生成简明而有意义的文字序列。遥感图像的文字说明生成任务极具挑战性，尤其是遥感数据集中图像数量的不足，使得这种基于深度学习的方法存在着严重的过拟合问题，也造成了该种方法的泛化能力不足。

发明内容

为了克服现有遥感图像文字说明生成方法存在过拟合现象的不足，本发明提供一种基于多尺度裁剪机制的遥感图像文字说明生成方法。该方法在数据集中的遥感图像输入CNN之前，对原始遥感图像按照多个不同的尺度裁剪为大小不一的图像块，再将裁剪后的图像块重新缩放到统一尺寸大小，输入到编码器-解码器模型中，从而使数据集得到扩充，同时使得CNN能更好地提取图像中的全局特征与局部特征，有效地减少因数据集中图像数量有限所造成的过拟合现象，进一步提高遥感图像文字说明生成任务的准确度。同时，通过裁剪多个尺度图像块进行训练，显著提高了模型的泛化能力。

本发明解决其技术问题所采用的技术方案：一种基于多尺度裁剪机制的遥感图像文字说明生成方法，其特点是包括以下步骤：

步骤一、定义缩放尺度比例值列表S。

S＝[s₁,s₂,...,s_n] (1)

式中，s_i(i＝1,2,...,n)表示列表中定义的一个比例值，n表示列表中比例值的总数。

步骤二、对输入图像进行处理，将输入图像缩放为固定尺寸大小d×d，从列表S中选取一个比例值s_i，将缩放为固定尺寸大小的图像根据所选取比例值进行裁剪。

d'＝d×s_i (2)

式中，d'表示裁剪后的图像块尺寸大小。

步骤三、利用卷积神经网络CNN对裁剪后的图像块进行特征提取。

v₀＝CNN(P_i) (3)