[发明专利]基于单应性矩阵分割的虚拟视点合成的方法

说明书

技术领域

本发明涉及一种虚拟视点合成的方法，尤其是一种基于单应性矩阵分割的虚拟视点合成的方法，属于图像处理技术领域。

背景技术

虚拟视点合成是指利用计算机，合成本来不存在的视点图像。虚拟视点插值是给定按照一定规则预先摆放的摄像头阵列，同时拍摄多张图像，采用相应的视点插值技术计算出每相邻两视角之间的中间图像序列。

近年来，随着计算机视觉、图像处理、计算机图像学等学科高度交叉。虚拟视点合成广泛运用于三维重建和全景拼接等项目。视点插值技术广泛应用于虚拟现实、特效摄影、三维电视和动画制作领域。成功的案例包括应用在奥运会上的“子弹时间”和苹果公司的Quick Time VR虚拟现实系统。

虚拟视点插值技术发展20多年，经典的方法由苹果公司研究员chen的基于偏移向量的插值方法以及Seitz教授的基于图像插值的方法。2004年微软研究员Zitnick提出一种新的基于图像的建模与绘制技术的视频视点合成系统方案，该方案离线获取同步拍摄视频流，然后通过基于颜色的分割的立体算法来获取摄像头阵列的结构参数并建立高质量的图像对应关系，视频合成过程深度不连续区自动提取遮罩用来减少人工误差，最后交互实现视频的合成。该方案的优势是得到视频合成质量但其速度难以保证实时性。2008年，Farin等也提出了对基线长度由约束的任意摆放阵列的虚拟视点插值技术。Guillemaut等人也提出了基于图像分割的优化视点插值方法，针对多个不同分辨率的运动相机拍摄的复杂运动场景进行图像分割重建。

目前，现有的基于虚拟视点插值合成虚拟图像的方法算法相对复杂、实时性能差、稳定性得不到保证，部分算法需要特殊硬件支持，工程实现难，工程实用价值不高。

发明内容

本发明的目的是为了解决上述现有技术的缺陷，提供一种基于单应性矩阵分割的虚拟视点合成的方法，该方法具有合成速度快、过程简单有效、工程实用价值高的优点。

本发明的目的可以通过采取如下技术方案达到：

基于单应性矩阵分割的虚拟视点合成的方法，所述方法包括以下步骤：

1)采用外置标准尺寸棋盘格标定法对左右相邻视角相机进行标定，得到左右相邻视角相机的内参矩阵K_l、K_r以及左右相邻视角相机之间的基础矩阵F，由基础矩阵F导出本质矩阵E，对本质矩阵进行SVD奇异值分解，计算左右相邻视角相机之间的运动参数：旋转矩阵R和平移矩阵T；

2)对旋转矩阵R和平移矩阵T进行插值分割，得到左右相邻视角到映射至相邻视角之间某一位置处的子单应性矩阵H_li和H_ri；

3)通过子单应性矩阵H_li和H_ri分别将左右视角图形进行图像映射，选定其中一视角映射后的图像作为合成图像的参考坐标系统，运用双线性插值进行插值融合，合成运动过程中每一位置场景图像。

作为一种优选方案，步骤1)所述采用外置标准尺寸棋盘格标定法对左右相邻视角相机进行标定，得到左右相邻视角相机的内参矩阵K_l、K_r以及左右相邻视角相机之间的基础矩阵F，具体如下：

1.1)相机对准棋盘格，拍摄至少三组棋盘格照片；

1.2)利用opencv标定函数或matlab标定工具箱，通过拍摄的多组棋盘格照片，标定出左右相邻视角相机的内参矩阵K_l、K_r以及左右相邻视角相机的基础矩阵F。

作为一种优选方案，步骤1)所述由基础矩阵F导出本质矩阵E，对本质矩阵进行SVD奇异值分解，计算左右相邻视角相机之间的运动参数：旋转矩阵R和平移矩阵T，具体如下：

1.3)由基础矩阵F导出本质矩阵E：

E=KrTFKl---(1)]]>

其中，F为左右相邻视角相机之间的基础矩阵，K_l为左相机内参，K_r右相机内参；