[发明专利]一种全景3D视频拼接系统及方法

说明书

本发明属于图像处理技术领域，提供了一种全景3D视频拼接系统及方法，所述系统包括：全景3D摄像机和图像处理模块，所述全景3D摄像机与所述图像处理模块连接；所述全景3D摄像机包括多个深度传感器和多个CCD摄像机；所述图像处理模块包括全景摄像机几何标定单元、图像拼接单元、新视点图像生成单元以及图像空洞填补单元。通过本发明可有效提高全景3D视频的显示效果。

技术领域

本发明属于图像处理技术领域，尤其涉及一种全景3D视频拼接系统及方法。

背景技术

传统的全景3D摄像机需要在其周围设置第一组摄像头，并为第一组的每个摄像头配置一个对应的摄像头，形成3D摄像头对。对应的摄像头组成第二组摄像头。第一组摄像头和第二组摄像头拍摄的画面通过画面重叠部分的匹配进行拼接，形成全景3D视频。

传统的全景3D摄像机存在以下缺点：1)图像拼接中，对远景图像可以拼接出很好的效果，但对于近景物体容易形成错配，致使画面有重影；2)对于每个3D摄像头对的非拼接图像有很好的3D效果，但是对于拼接处的全景图像深度失真，3D效果不佳。

发明内容

鉴于此，本发明提供一种全景3D视频拼接系统及方法，以提高全景3D视频的显示效果。

本发明的第一方面，提供一种全景3D视频拼接系统，所述系统包括：

全景3D摄像机和图像处理模块，所述全景3D摄像机与所述图像处理模块连接；

所述全景3D摄像机包括多个深度传感器和多个CCD摄像机；

所述图像处理模块包括全景摄像机几何标定单元、图像拼接单元、新视点图像生成单元以及图像空洞填补单元；

所述CCD摄像机，用于拍摄场景RGB图像；

所述深度传感器，用于获取所拍摄的场景RGB图像的深度图像；

所述全景摄像机几何标定单元，用于对两两相邻的CCD摄像机进行几何标定，获取不同深度处对应的单应性矩阵；

所述图像拼接单元，用于对获取的深度图像采用相应深度的单应性矩阵进行拼接，获得拼接图像；

所述新视点图像生成单元，用于根据所述深度图像和拼接图像生成新的视点图像；

所述图像空洞填补单元，用于填补新的视点图像的空洞，并根据填补后的新的视点图像和所述拼接图像生成3D图像对，以便于虚拟现实3D显示。

本发明的第二方面，提供一种全景3D视频拼接方法，所述方法包括：

通过CCD摄像机拍摄场景RGB图像；

通过深度传感器获取所拍摄的场景RGB图像的深度图像；

对两两相邻的CCD摄像机i和CCD摄像机j进行几何标定，获取由远及近不同深度h时对应的3×3单应性矩阵h_p表示第p个深度，p＝1,2,...n；

对获取的深度图像采用相应深度的单应性矩阵进行拼接，获得拼接图像；

根据所述深度图像和拼接图像生成新的视点图像；

填补新的视点图像的空洞，并根据填补后的新的视点图像和所述拼接图像生成3D图像对，以便于虚拟现实3D显示。