[发明专利]基于卷积神经网络的光学遥感图像的色彩重建方法

权利要求书

1.一种基于卷积神经网络的光学遥感图像色彩重建方法，其特征在于，包括如下：

(1)从网站上分别获取公开的遥感图像分类数据集Y和彩色遥感图像X1，并对彩色遥感图像做灰度处理得到灰度遥感图像X2；再对彩色遥感图像依次做模糊、加噪、颜色偏移和通道顺序打乱操作，获取颜色不正常的彩色遥感图像X3；

(2)使用VGG-19网络在遥感图像分类数据集上针对不同类别提取特征；

(2.1)将遥感图像分类数据集Y中的80％作为训练集A，其余20％作为测试集B；

(2.2)从网络上下载在ImageNet数据集上训练好的VGG-19网络模型的权重参数，将其设置为VGG-19网络的初始化参数，并设初始学习率为0.0001，使用Adam算法，在训练集A上继续训练VGG-19网络，直到该网络的分类精度不再提高为止，得到在训练集A上训练好的VGG-19网络模型的权重参数；

(2.3)将在训练集A上训练好的VGG-19网络的conv4-4层以前的结构作为特征提取网络，用来提取不同类别的特征；

(3)对由生成网络和判别网络组成的生成对抗网络进行训练：

(3.1)将(2.2)得到的训练好的特征提取网络模型的权重参数加载到(2.3)得到的特征提取网络上；

(3.2)训练生成网络得到保留遥感图像细节的生成网络；

设初始学习率为0.001，学习率每5轮衰减0.1，生成网络的特征损失函数为f_loss＝l₁_loss(VGG(x),VGG(G(y)))，使用Adam算法，用灰度遥感图像X2和彩色遥感图像X1迭代训练生成网络20轮，得到训练好的生成网络模型的权重参数，其中，G(.)表示生成网络的输出，VGG(.)表示(2.3)得到的特征提取网络的输出，l₁_loss(.)表示绝对误差；

(3.3)将(3.2)得到的训练好的生成网络模型的权重参数加载到生成网络上；

(3.4)训练生成对抗网络得到色彩重建的生成网络；

设生成网络的初始学习率为0.001，判别网络的初始学习率为0.005，学习率均为每10轮衰减0.1，利用彩色遥感图像X1、灰度遥感图像X2和颜色不正常的彩色遥感图像X3，通过对抗训练算法迭代训练生成对抗网络100轮后停止，得到最终的生成网络模型；

(4)将灰度遥感图像X2输入到(3.4)得到的生成网络，得到色彩重建后的彩色遥感图像。

2.根据权利要求1所述的方法，其中(1)中遥感图像分类数据集Y，其包含35种类别，分别是：城镇、水流、储存室、稀疏森林、雪山、灌木、海、树苗、沙滩、防护林、河流、居民地、管道、停车场、山、海洋、红树、湖岸、贫瘠土地、高速公路、绿色农场、森林、干农场、沙漠、大坝、十字路口、集装箱、海岸线、城市建筑、桥、裸地、大街、农业绿地、飞机和机场跑道；这些类别共有24747张彩色图像，每张图像大小均为256×256。

3.根据权利要求1所述的方法，其中(3.2)中使用Adam算法，用灰度遥感图像X2和彩色遥感图像X1迭代训练生成网络，实现如下：

(3.2.1)将灰度遥感图像X2输入到生成网络中，得到生成的彩色遥感图像X4，将生成的彩色遥感图像X4输入到(3.1)得到的特征提取网络，得到从生成的彩色遥感图像X4上提取的特征F1；

(3.2.2)将彩色遥感图像X1输入到(3.1)得到的特征提取网络，得到从彩色遥感图像X1上提取的特征F2；

(3.2.3)计算F1和F2之间的绝对误差，通过反向传播更新生成网络的参数；

(3.2.4)重复(3.2.1)到(3.2.3)的过程20轮，得到训练好的保留图像细节的生成网络。

4.根据权利要求1所述的方法，其中(3.4)中利用彩色遥感图像X1、灰度遥感图像X2和颜色不正常的彩色遥感图像X3，通过对抗训练算法迭代训练生成对抗网络，实现如下：

(3.4.1)设判别网络的损失函数为：d_loss＝-dr_loss-df_loss-dw_loss，使用Adam算法，通过彩色遥感图像X1，灰度遥感图像X2和颜色不正常的彩色遥感图像X3中的一个批次的图像训练该判别网络，其中，D(.)表示判别网络的输出，E表示期望；

(3.4.2)设生成网络的损失函数为：g_loss＝-adv_g+λ×f_loss+β×c_loss，使用Adam算法，通过彩色遥感图像X1，灰度遥感图像X2和颜色不正常的彩色遥感图像X3中的同一个批次的图像训练该生成网络，其中，f_loss＝l₁_loss(VGG(x),VGG(G(y)))，c_loss＝l_{2_}loss(G(y),x)，λ＝10表示f_loss的加权系数，β＝100表示c_loss的加权系数，l₁_loss(.)表示绝对误差，l₂_loss(.)表示均方误差；

(3.4.3)返回到(3.4.1)，用下一批次图像继续训练，直到训练完所有图像结束一轮训练；

(3.4.4)重复(3.4.1)到(3.4.3)的过程100轮结束，得到训练好的生成网络。