[发明专利]一种视点合成技术进行立体校正的方法

说明书

本发明公开了一种基于新型网络的视点合成技术进行立体校正的方法，在视点合成的实现立体图像校正的流程中，未校正立体图像视差估计网络直接估计原始左右视图的水平和垂直视差；基于参考视图的图像修复网络，根据左右视图的上下文信息进行图像空洞的修复，最终生成虚拟右视图和原左视图组成校正后图像对。相较于传统基于视点合成进行校正的技术，本发明校正过程更加简单高效，合成图像拥有最好的垂直视差消除性能，并能保证校正前后视差信息一致，拥有最好的视觉舒适度。

技术领域

本发明涉及一种图像校正方法，尤其涉及一种视点合成技术进行立体校正的方法。

背景技术

在双目摄像机进行3D图像的拍摄时，由于支架形变、左右镜头内部元件不一致等原因，使得拍摄出的图像对常存在垂直视差，难以达到理想的极线平行状态。低质量的3D图像会出现疲惫、头疼、注意力难以集中等生理不舒适的症状。因此在实际应用中，拍摄后的图像都需要经过后期处理来校正图像。

常见的传统校正方法通过对3D图像的左右视图分别施加投影变换，将外极点映射到无穷远，从而达到极线平行的状态，然而这些方法不能兼顾校正前后水平视差的一致性，可能给图像带来严重的失真，且校正后的图像需要进行裁剪。

利用视点合成进行立体图像校正的方法通过将视点合成运用到图像校正中，以最大程度减少图像失真，保留原立体图像的深度信息，且不损失图像分辨率。在利用视点合成的方法中包括了视差计算，像素映射和图像修复三个模块，其中视差计算的精度主要影响了垂直视差消除的性能，图像修复算法影响了最终合成虚拟视图的质量。在传统视点合成进行校正的方法中，在这两个关键步骤中采用了大量人工设计的特征和约束，在实际的应用中仅对部分的图像有良好的校正效果，缺乏足够的鲁棒性，最终合成的图像质量难以保证。

发明内容

本发明的目的在于针对现有技术不足，提供一种能够实现立体图像校正，且避免校正后图像产生畸变和图像质量下降问题的基于新型网络的视点合成技术进行立体校正的方法。本发明实现了高精度的视差估计和高质量的图像修复，从而提升了利用视点合成技术生成的虚拟视图的真实性，使得最终成功校正立体图像，拥有良好的视觉舒适度。

实现本发明目的的技术解决方案为：一种基于新型网络的视点合成技术进行立体校正的方法，包括以下步骤：

(1)通过对立体视频进行帧提取，构建立体图像训练数据集；

(2)构建并训练未校正立体图像视差估计网络，并利用训练后的未校正立体图像视差估计网络计算左视图IL的水平视差图D_Lh和垂直视差图D_Lv，以及右视图IR的水平视差图D_Rh和垂直视差图D_Rv；

(3)利用左右视图的水平和垂直视差图D_Lh、D_Rh、D_Lv、D_Rv以及左右视图IL、IR，做像素映射，得到待修复的虚拟右视图I_hole；

(4)构建并训练基于参考视图的图像修复网络，并利用训练后的基于参考视图的图像修复网络生成最终修复后的右视图I_pred；左视图IL和合成的右视图I_pred即为校正结果。

进一步地，所述的步骤(2)中构建的未校正立体图像视差估计网络的结构由权值共享的一对特征提取器模块，以及6组级联的局部视差估计模块和全局视差估计模块和一个上采样函数构成。