[发明专利]一种矩形边界保持的立体图像拼接方法

说明书

本发明实施例公开了一种矩形边界保持的立体图像拼接方法，包括：S1全局优化的立体图像拼接；S2立体全景图的不规则边界提取；S3基于矩形边界约束的立体图像拼接。该方法根据立体全景图的特征和视差定义目标矩形边界，通过全局能量优化实现矩形边界保持的立体图像拼接。

技术领域

本发明属于图像处理技术领域，具体涉及一种矩形边界保持的立体图像拼接方法。

背景技术

随着AR/VR技术的快速发展，越来越多的用户喜欢观看立体图像和视频，以享受更好的视觉体验。当前，立体媒体数据来源广泛且容易获取，因此对立体图像和视频进行编辑和处理变得越来越迫切。对不同视角拍摄的立体内容进行拼接以实现全景立体内容生成是当前非常重要的应用。

与传统的2D图像和视频不同，立体拼接方法需要同时考虑左右视图的深度一致性。尽管传统的2D拼接方法已经非常成熟，并且应用于智能手机、数码相机等移动设备，但是这法无法直接应用于立体图像拼接。因为分别对左右视图进行2D拼接会造成视差的不一致，从而引起不舒适的视觉体验。因此研究者们努力地研究一种立体图像拼接方法能够同时保持特征对应和视差一致性。

立体拼接的主要目标是生成具有更加宽广视野的立体全景图。因此，在拼接过程中，除了要保持特征和视差一致性对应，还希望在普通矩形屏幕上观看立体内容时，能够观看到更多的立体内容。通常立体拼接会产生不规则边界，我们在矩形屏幕上看到通常是经过切割的内容。为了得到更加宽广的视野，需要生成尽可能接近矩形的拼接结果。

发明内容

本发明要解决的技术问题是提供一种矩形边界保持的立体图像拼接方法，该方法根据立体全景图的特征和视差定义目标矩形边界，通过全局能量优化实现矩形边界保持的立体图像拼接。

为解决上述技术问题，本发明采用如下技术方案：

一种矩形边界保持的立体图像拼接方法，包括以下步骤：

S1，全局优化的立体图像拼接，具体包括：以多个包含部分重叠的双目立体图像为输入，建立以立体图像每个视图间的特征对应、局部和全局网格特征保持、立体图像的视差一致性保持约束的能量优化，通过网格变形和颜色融合得到立体图像的全局拼接结果；

S2，立体全景图的不规则边界提取，具体包括：以立体图像全局拼接后左右视图的网格顶点为输入，分别在立体全景图的左右视图中提取变形后多个图像网格的边界，将其构造成多边形，通过多边形布尔运算的集合操作得到左右全景图的不规则边界，该边界由部分网格顶点和网格间的交点组成；

S3，基于矩形边界约束的立体图像拼接，具体包括：以左右全景视图的不规则边界为输入，分析得到最优目标矩形边界保持约束条件，进一步构造基于S1中的图像全局拼接约束、直接保持约束和矩形边界保持约束的能量优化，然后求解能量优化并通过变形得到矩形边界保持的立体全景图拼接结果。

一优选实施例中，步骤S3进一步包括，立体图像拼接的能量约束包括特征一致对应{E_a}、局部和全局特征保持{E_s}、直线保持{E_l}、矩形边界保持{E_r}，将以上能量按照下述公式进行线性组合，然后求解能量优化得到最小化的E(v)，最后通过网格变形得到立体全景拼接结果，公式为：

E(v)＝w_a(E_a)+w_s(E_s)+w_r(E_r)+w_l(E_l)。

一优选实施例中，步骤S3还包括：以迭代优化的方式实现内容注意的立体图像拼接，使得立体全景图的形状接近矩形且避免过大的畸形。

采用本发明具有如下的有益效果：