[发明专利]3D视频通信方法、发送设备和系统

说明书

技术领域

本发明涉及视频技术领域，特别涉及一种3D视频通信方法、发送设备、和系统。 

背景技术

目前传统的视频是一种二维图像信息的载体，它只能表现出物体的内容而忽略了物体的远近、位置等深度信息，是不完整的。作为视频观察的主体，人类需要获取比一幅二维图像信息更多的画面来获取必需的空间信息，以获得符合人类两只眼睛观察世界视觉感受的画面。 

3D视频技术可以提供符合人类立体视觉原理的具有深度信息的画面，从而能够真实地重现客观世界的景象，表现出场景中物体的纵深感、层次感和真实性，也是当前视频技术发展的重要方向。获取场景的深度信息，即场景的深度是3D视频系统中一个非常重要的内容，场景深度图也称为场景的视差图。目前，现有技术中获取场景的深度图主要有以下方法： 

一种是利用立体图像匹配获取场景的深度图。立体图像匹配是利用摄像机拍摄获得场景的多幅彩色图像，该彩色图即为场景的2D图像，通过对彩色图像进行分析、计算获得场景的深度图。其基本原理为：找到场景中的某一点在多幅彩色图中对应的成像点，然后再根据该点在多幅彩色图中的坐标求出其在空间中的坐标，从而得到该点的深度信息。 

立体图像匹配技术主要包括基于窗口的匹配法和动态规划法，这两种方法均采用了基于灰度的匹配的算法。基于灰度的匹配的算法是将彩色图像分割成小的子区域，以其灰度值作为模版并在其它彩色图像中找到和其最相似灰度值分布的子区域，如果两个子区域满足相似性要求，就认为这两个子区 域中的点是匹配的。在匹配过程中，通常使用相关函数衡量两个区域的相似性。基于灰度的匹配的算法一般可得到场景密集的深度图。 

另外，也可以基于特征的匹配的算法进行立体图像匹配。基于特征的匹配的算法是利用由彩色图像的灰度信息导出的特征进行匹配，与利用简单的亮度和灰度变化信息进行匹配的算法相比，基于特征的匹配的算法更加稳定和准确。匹配的特征可认为是潜在的能够描述场景3D结构的重要特征，如边缘和边缘的角点。基于特征的匹配一般可先得到场景稀疏的深度图，然后利用内插值等方法得到场景密集的深度图。 

另一种是利用单台深度摄像机(Depth Camera)获取场景的深度图。 

深度摄像机的基本原理是通过发射红外线并检测场景中物体反射红外线的强度来判定物体的距离，因此，深度摄像机输出的深度图质量好，精度较高，应用前景好。目前深度摄像机主要用于手势识别、背景替换和合成等领域，在3D视频系统中的应用较少，且一般均采用单台深度摄像机进行场景视频图像的采集。 

在利用单台摄像机进行场景的视频图像采集中，获得场景的深度图比较精确，但是通过单台深度摄像机只可以获得一个视点的场景的一幅彩色图及对应的深度图。在重构小视差虚拟视点的图像时可能有较好的重构效果，但在进行重构大视差虚拟视点的图像时，由于获得的彩色图少，缺少足够多的彩色图像信息，重构出的虚拟视点的图像会产生较大的“空洞”，且无法进行修补，使得重构出的图像失真严重，重构效果较差。 

如图1所示，为现有技术中根据单台深度摄像机采集的视频图像进行虚拟视点图像重构时产生空洞的原理示意图。假如在o1视点处获得物体1a和物体1b的视频图，由于物体1b遮挡住物体1a的1a0部分，因此实际获得的视频图信息中只包括物体1a的部分图像信息和物体1b的图像信息，并没有物体1a的1a0部分的图像信息。若想要获得虚拟视点o2处物体4a和物体1b的视频图像，由于实际获得的视频图像信息中并未有物体1a的1a0部分的图像信息，在o2视点处重构获得的图像中就会缺少物体1a的1a0部分图像，因此在1a0部分会产生空洞，使得重构出的图像失真严重，重构效果差。 

发明人在实现本发明过程中，发现现有技术至少存在以下缺陷：现有技术中的立体匹配的算法必须依赖于场景的亮度和色度信息，极易受到光照的不均匀性、摄像机的噪声以及场景的重复纹理等的影响，因此，得到的视差/深度图错误较多，基于深度图进行虚拟视点重构时效果差，重构出的图像不准确，且立体匹配的算法复杂，获得视差/深度图的实时性不强，目前的技术还无法实现商用；而现有技术中利用单台深度摄像机获取深度信息进行重构大视差虚拟视点的图像时，会产生较大的“空洞”，且无法进行修补，重构的图像失真严重，重构效果差，实用性也不强。 

发明内容

本发明的目的是提供一种3D视频通信方法、发送设备、和系统，以提高虚拟视点图像的重构效果。 

本发明实施例提供了一种3D视频通信方法，包括：