[发明专利]一种语义分割驱动的图像超分辨率重构方法

权利要求书

1.一种语义分割驱动的图像超分辨率重构方法，其特征在于，具体步骤如下：

(1)分别独立预训练图像超分辨率网络和语义分割网络模型

用数据集训练超分辨率网络，其中，是低分辨率图像，作为超分辨率网络的输入，是高分辨率图像，作为训练过程的标签；

用数据集训练语义分割网络，其中，I_i为语义分割网络的输入，M_i为像素级标签，表示图像I_i中每个像素的真实类别；

N为图像数量；

(2)级联独立训练的超分辨率网络和语义分割网络

超分辨率网络将低分辨率图像映射为高分辨率图像其中θ_SR为超分辨率网络的参数；超分辨率网络的输出作为语义分割网络的输入，获得超分辨率图像中每个像素分类结果构成级联的网络结构，其中θ_seg为语义分割网络的参数；

(3)在语义分割任务的驱动下，训练超分辨率网络

在预训练模型的基础上微调网络参数，用超分辨率网络的损失函数和语义分割网络的损失函数共同指导超分辨率网络的参数的更新，使得超分辨率网络针对具体的语义分割任务进行调整；

(4)低分辨率图像经过任务驱动的网络处理，获得准确的语义分割结果

对于低分辨率图像的语义分割任务，先将低分辨率图像输入到训练完成的语义分割驱动的超分辨率网络模型中，重构高分辨率图像，再将重构的高分辨率图像输入到语义分割网络中，获得准确的分割结果。

2.根据权利要求1所述的方法，其特征在于，步骤(1)中，训练超分辨率网络的数据集的获取方法为：

将高分辨率图像按照一定比例下采样，获得低分辨率图像对于非专业用于超分辨率任务的分辨率较高的图像数据集，都按照此方法构建超分辨率任务的数据集。

3.根据权利要求2所述的方法，其特征在于，步骤(1)中，两种网络独立训练的方法为：

用两种数据集训练超分辨率网络，先用常用的超分辨率任务的数据集训练网络，收敛后，再用语义分割数据集微调网络；

用标准的含有像素级标注的语义分割数据集训练语义分割网络。

4.根据权利要求3要求所述的方法，其特征在于，所述的常用的超分辨率任务的数据集为DIV2K或91张图片；所述的语义分割数据集为PASCAL VOC 2012、PASCAL context或Cityscapes。

5.根据权利要求1所述的方法，其特征在于，步骤(2)中，级联网络的参数由两个独立训练的模型参数初始化；其中语义分割模型部分的参数被固定，用于计算重构的高分辨率图像产生的语义分割的损失，预训练的语义分割网络为超分辨率网络的参数更新提供正确的指导。

6.根据权利要求1所述的方法，其特征在于，步骤(3)中，所述的损失函数为：

超分辨率网络的损失函数为：

其中，N为图像数量；

语义分割网络的损失函数为：

其中，

L为像素的类别的集合，为第i个图像中属于第l类的像素，为第l类像素的数量，u是像素的位置；

将超分辨率网络的损失函数和语义分割网络的损失函数结合，作为最终的损失函数，所以参数更新的目标函数为：

其中，α、β用于平衡两种损失函数的贡献；α、β两者之比取为(0.5—1)：1。

7.根据权利要求1所述的方法，其特征在于，所述的超分辨率网络是一个端到端的网络，为VDSR、EDSR或SRCNN；语义分割网络为Deeplab、FCN或PSPnet。