[发明专利]一种视点合成技术进行立体校正的方法

权利要求书

1.一种视点合成技术进行立体校正的方法，其特征在于，包括以下步骤：

(1)通过对立体视频进行帧提取，构建立体图像训练数据集；

(2)构建并训练未校正立体图像视差估计网络，并利用训练后的未校正立体图像视差估计网络计算左视图IL的水平视差图D_Lh和垂直视差图D_Lv，以及右视图IR的水平视差图D_Rh和垂直视差图D_Rv；

(3)利用左右视图的水平和垂直视差图D_Lh、D_Rh、D_Lv、D_Rv以及左右视图IL、IR，做像素映射，得到待修复的虚拟右视图I_hole；

(4)构建并训练基于参考视图的图像修复网络，并利用训练后的基于参考视图的图像修复网络生成最终修复后的虚拟右视图I_pred；左视图IL和修复后的虚拟右视图I_pred即为校正结果；

所述的步骤(4)中构建的基于参考视图的图像修复网络由编码器、中间卷积层和解码器组成，其中编码器中包含了指导模块引入指导特征；编码器首先由四个卷积核大小分别为7x7、4x4、4x4、3x3，步长分别为2、2、2、2，输出通道数分别为64、128、256、256的卷积层对待修复的虚拟右视图I_hole输入的待修复图像和空洞模板M合并后的向量提取输入图像特征F_i；原始左右视图IL、IR作为参考视图，分别用估计得到的左图水平视差D_Lh和右图垂直视差D_Rv通过像素映射从左右视点映射到合成视点位置，再分别与空洞模板M合并，由四个卷积层的卷积核大小分别为7x7、4x4、4x4、3x3，步长分别为2、2、2、2，输出通道数分别为64、128、256、256，通过权值共享的方式提取参考图像特征；四个卷积层从左右视图中获得左右参考图像特征F_l1，F_l2，F_l3，F_l4和F_r1，F_r2，F_r3，F_r4；随后参考图像特征F_l4和输入图像特征F_i进行通道合并后经过三个卷积核为3x3，输出通道为256，128，1的卷积层，在最后一个卷积层后紧接着一个sigmoid函数生成单通道的左注意力特征图F_la，参考特征F_t4和F_i进行通道合并后经过同样的三个卷积核为3x3，输出通道为256，128，1的卷积层，接着一个sigmoid函数生成单通道的右注意力特征图F_ra；F_la与F_l4相乘，F_ra与F_r4相乘后相加获得指导特征F_guide；获得的指导特征F_guide和输入图像特征F_i合并后经过一个输出通道为512，卷积核大小为4x4，步长为2的卷积层得到图像深层编码特征F₅；

中间卷积层由三个输出通道为512的4x4卷积层构成，由图像深层编码特征F₅得到深度融合特征F_dec5；

解码器由五个解卷积层构成；通过残差连接将F₅与F_dec5合并，经过一个卷积核大小为3x3，输出通道为256的解卷积层后得到解卷积特征F_dec4；F_dec4，F_l4，F_r4合并后由一个卷积核大小为4x4，输出通道为128的解卷积层得到解卷积特征F_dec3；F_dec3，F_l3，F_r3合并后由一个卷积核大小为4x4，输出通道为128的解卷积层得到解卷积特征F_dec2；F_dec2，F_l2，F_r2合并后由一个卷积核大小为4x4，输出通道为64的解卷积层得到解卷积特征F_dec1；F_dec1，F_l1，F_r1合并后由一个卷积核大小为4x4，输出通道为3的解卷积层得到I_pred，即修复后的虚拟右视图。