[发明专利]一种全景3D视频拼接系统及方法

权利要求书

1.一种全景3D视频拼接系统，其特征在于，所述系统包括：

全景3D摄像机和图像处理模块，所述全景3D摄像机与所述图像处理模块连接；

所述全景3D摄像机包括多个深度传感器和多个CCD摄像机，每个CCD摄像机对应一个深度传感器，每个深度传感器获取所对应的CCD摄像机所拍摄的场景RGB图像的深度图像；

所述图像处理模块包括全景摄像机几何标定单元、图像拼接单元、新视点图像生成单元以及图像空洞填补单元；

所述CCD摄像机，用于拍摄场景RGB图像；

所述深度传感器，用于获取所拍摄的场景RGB图像的深度图像；

所述全景摄像机几何标定单元，用于对两两相邻的CCD摄像机进行几何标定，获取不同深度处对应的单应性矩阵；

所述图像拼接单元，用于对获取的深度图像采用相应深度的单应性矩阵进行拼接，获得拼接图像，包括：对于某些只有前景变化而背景不变的视频图像，采用光流法对前景进行检测提取，即只需要按照前景图像深度对前景进行拼接处理，背景保持不变；

所述新视点图像生成单元，用于根据所述深度图像和拼接图像生成新的视点图像；

所述图像空洞填补单元，用于填补新的视点图像的空洞，并根据填补后的新的视点图像和所述拼接图像生成3D图像对，以便于虚拟现实3D显示，其中所述填补新的视点图像的空洞包括：

选取新的视点图像的一个空洞所在的像素作为目的像素p_i，寻找视频前一帧图像中对应该目的像素p_i的像素p_i′；

将目的像素p_i替换为前一帧对应的像素p_i′，以填补新的视点图像的空洞。

2.根据权利要求1所述的系统，其特征在于，所述全景3D摄像机为球形、半球形、环形或者长方形，所述全景3D摄像机中设置有n个CCD摄像机和n个深度传感器，每个CCD摄像机对应一个深度传感器，其中所述n为大于1的整数。

3.一种基于权利要求1或2所述系统的全景3D视频拼接方法，其特征在于，所述方法包括：

通过CCD摄像机拍摄场景RGB图像；

通过深度传感器获取所拍摄的场景RGB图像的深度图像；

对两两相邻的CCD摄像机i和CCD摄像机j进行几何标定，获取由远及近不同深度h时对应的3×3单应性矩阵h_p表示第p个深度，p＝1,2,...n；

对获取的深度图像采用相应深度的单应性矩阵进行拼接，获得拼接图像，包括：对于某些只有前景变化而背景不变的视频图像，采用光流法对前景进行检测提取，即只需要按照前景图像深度对前景进行拼接处理，背景保持不变；

根据所述深度图像和拼接图像生成新的视点图像；

填补新的视点图像的空洞，并根据填补后的新的视点图像和所述拼接图像生成3D图像对，以便于虚拟现实3D显示，其中所述填补新的视点图像的空洞包括：

选取新的视点图像的一个空洞所在的像素作为目的像素p_i，寻找视频前一帧图像中对应该目的像素p_i的像素p_i′；

将目的像素p_i替换为前一帧对应的像素p_i′，以填补新的视点图像的空洞。

4.根据权利要求3所述的方法，其特征在于，所述对两两相邻的CCD摄像机i和CCD摄像机j进行几何标定，获取由远及近不同深度h时对应的3×3单应性矩阵包括：

步骤1：设置一幅棋盘格在相对CCD摄像机的预定位置，以使得所述棋盘格处在相邻的CCD摄像机i和CCD摄像机j的重叠拍摄区域内；

步骤2：通过CCD摄像机i和CCD摄像机j分别拍摄所述棋盘格，获得两幅棋盘格图像；

步骤3：通过CCD摄像机i和CCD摄像机j捕获棋盘格画面上对应的棋盘格的角点的位置；

步骤4：根据CCD摄像机i和CCD摄像机j捕获的棋盘格画面上对应的棋盘格的角点的位置计算两幅棋盘格图像的相应3×3单应性矩阵

步骤5：按照预设步长，逐渐缩小所述棋盘格与相邻的CCD摄像机i和CCD摄像机j的距离，并在每次缩小所述距离后，重复上述步骤2-步骤5，以计算相应深度h时对应的3×3单应性矩阵