[发明专利]一种基于深度学习的轮对光条图像的修复方法

权利要求书

1.一种基于深度学习的轮对光条图像的修复方法，其特征在于，包括：

采集待修复的轮对光条图像，将待修复的轮对光条图像输入循环网络中；

在循环网络中，利用软编码Pconv层和非对称相似度模块对待修复的轮对光条图像进行循环渐进式的修复处理；

将所述循环网络输出的多个修复特征图进行特征融合，得到融合特征图，利用损失函数结合MS-SSIM损失项计算所述融合特征图与真值图像之间的差异值，根据差异值调整所述融合特征图，得到修复后的轮对光条图像；

所述的将所述循环网络输出的多个修复特征图进行特征融合，得到融合特征图，利用损失函数结合MS-SSIM损失项计算所述融合特征图与真值图像之间的差异值，根据差异值调整所述融合特征图，得到修复后的轮对光条图像，包括：

将所述循环网络循环输出的多个修复特征图进行特征融合，得到融合特征图，对融合特征图执行上采样操作后，利用损失函数结合MS-SSIM损失项计算融合特征图与真值图像之间的差异值，并根据差异值反向传播更新网络参数，利用更新后的网络参数对多个修复特征图重新进行特征融合，并重新计算融合特征图与真值图像之间的差异，循环执行上述处理过程，直到融合特征图与真值图像之间的差异小于设定的阈值，得到最终修复后的轮对光条图像；

第一层循环的非对称相似度模块对软编码Pconv层输出的修复特征图经过多段降采样之后，进行目标特征点和源特征点的相似度度量计算，包括：

第一层循环的非对称相似度模块对软编码Pconv层输出的修复特征图经过多段降采样之后，将目标特征点对应的特征向量进行归一化，将源特征点对应的特征向量的模保持不变，进行目标特征点和源特征点的相似度度量计算的公式如下所示：

其中，(x,y)是特征图上的目标特征点，(x’,y’)是特征图中的源特征点，f_x,y和f_x’,y’是特征点(x,y)和(x’,y’)在特征图的通道维度上对应的特征向量，sim代表两特征点之间的特征相似度，·代表两个特征向量的内积；

考虑到轮对光条图像修复结果的平滑性，最终的相似度值取以(x,y)为中心点的k×k区域内所有特征点和源特征点(x’,y’)的相似度平均值，具体公式如下：

第i层循环的相似度映射记score^’i_x,y通过softmax函数处理sim^’i_{x,y,x’,y’}获取，第i层获取到的最终相似度映射scoreⁱ_x,y包含当前循环计算的映射结果score^’i_x,y和上一层的相似度映射score^i-1_x,y，具体公式如下：

其中，λ是公式的超参数；

所述的软编码Pconv层的卷积核k_m在深度模型的训练过程中迭代更新，并且采用具有学习性的卷积核滤波器M^c＝M⊙k_m；

所述的软编码Pconv层采用改进后的掩码更新策略g_M(M^c)，其公式如下所示：

g_M(M^c)＝(ReLU(M^c))^α

其中，ReLU是一种非线性激活函数，α是一个超参数，α≥0，当α＝0时g_M(M^c)就退化为f_M(M^c)；

所述的软编码Pconv层采用非对称的高斯形状函数g_M(M^c)作为特征缩放因子，其具体公式如下所示：

其中，a，γ_l,γ_r，μ是公式中的超参数，M^c是A)中计算得到的，exp代表以e为底的指数函数；

所述MS-SSIM损失项从亮度、对比度和结构三个方面约束修复图像和真值图像之间的差异，并且包含M个分辨率，MS-SSIM具体公式如下所示：

其中，l_M(x,y)代表第M层的亮度分量，c_i(x,y)代表第i层的对比度分量，s_i(x,y)代表第i层的结构分量，α_M代表第M层的亮度分量超参数，β_i代表第i层的对比度分量超参数，γ_i代表第i层的结构分量超参数；

A)亮度分量公式如下所示：

C₁是公式的超参数，假设修复图像和真值图像相同位置各自选取一个像素区域x和y，则μ_x和μ_y代表两个像素区域的平均值，具体公式如下所示：

其中，N是像素区域的像素点个数，x_i和y_j分别代表x和y区域的像素点值；

B)对比度分量公式如下所示：

其中，C₂是公式的超参数，σ_x和σ_y分别代表修复图像和真值图像选取区域x和y的对比度，具体计算区域内的值和平均值的标准差，公式如下：

其中，N代表x和y区域的点个数；

C)结构分量公式如下所示：

其中，C₃是公式的超参数，σ_x和σ_y仍然代表x和y区域的对比度，σ_xy的公式如下所示：

2.根据权利要求1所述的方法，其特征在于，所述的在循环网络中，利用软编码Pconv层和非对称相似度模块对待修复的轮对光条图像进行循环渐进式的修复处理，包括：

在循环网络中每一层包括软编码Pconv层和非对称相似度模块，第一层循环的软编码Pconv层接收输入的待修复的轮对光条图像，软编码Pconv层利用掩码图像对待修复的光条图像进行渐进式的修复，并输出阶段性的修复特征图，第一层循环的非对称相似度模块对软编码Pconv层输出的修复特征图经过多段降采样之后，进行目标特征点和源特征点的相似度度量计算，根据相似度度量对修复特征图进行优化处理，输出优化后的修复特征图；

此后，每个循环的软编码Pconv层输入上一层循环最终输出的修复特征图，并执行修复处理，输出下一个阶段性的修复特征图，每个循环的非对称相似度模块对软编码Pconv层输出的修复特征图进行优化处理，输出优化后的修复特征图。