[发明专利]一种不产生空洞的中间视图合成方法

说明书

技术领域

本发明属于深度图像绘制技术领域，更为具体地讲，涉及一种不产生空洞的中间视图合成方法。

背景技术

作为自由立体3D视频(autostereoscopic3DTV)和自由视点视频(free-viewpointTV,简称FTV)发展的关键，基于深度图像绘制(depth-image-basedrendering,简称DIBR)技术受到科研和商业领域的广泛关注。

DIBR技术根据参考图像(referenceimage)及其对应的深度图像(depthimage)来合成任意视点的目标图像(新视点图像)。但是，在产生新视点图像的过程中会有空洞的出现，空洞即被前景物体遮挡的背景在合成的新视点视图中暴露的区域，如图1所示的人物右侧以及图像的左侧黑色区域，这会严重降低了合成视图(synthesisview)的质量。

在双向DIBR技术(double-sidedDIBRtechnique)中，将两幅参考图像变换成的左右虚拟视图(virtualview)进行融合得到中间图像，在一定程度上减少了空洞，因为在某一虚拟视图中的空洞可能在另一幅虚拟视图中找到填补信息。然而，如果在两幅参考图像中都不能找到合理的信息来填充空洞，空洞仍然存在。尽管随着所提供摄像机数的增加，有些空洞因为变得可见而被填充，但是由于不可能在所有位置都放上一个摄像机，因而在合成任意视点视图时空洞是不可避免的。

空洞填充方法在国内外学术界沿着深度图像预处理和合成视图后处理相结合方向不断发展，在一定程度上提高了合成图像的质量，但是不免引入几何扭曲或者实现复杂耗时等问题。如果能够对空洞产生的机理进行完善、合理的分析，以便在合成视图中减少甚至避免空洞的产生，或者能够据此利用合理的背景信息进行空洞填充，将促进该方向在学术方面的发展。

在空洞产生机理的研究方面，2013年，Zhu等人研究了视图插值中的空洞产生，并得出产生空洞的具体条件，同时提出了一种能够全面地利用遮挡的背景信息进行空洞填充的新方法。但是，该空洞填充方法对于空洞产生分析的场景设置太过简单特殊，把前景物体看成平面来进行分析，这无疑不符合实际情况。此外，空洞填充方法在空洞较大或纹理复杂的情况下不能得以保证。随后，在2014年，Zhu等人进一步分析了利用多幅参考图像进行DIBR视图插值的空洞产生机理，得出如下定理，在特定条件下使用主要视图外的其他补充视图(compementaryview)能够减少目标虚拟视图中的空洞长度。最后利用补充视图中的信息进行空洞填充，结果显示使用多幅参考图像进行视图合成效果较好。该空洞填充方法的场景设置仍然没有考虑前景物体有一定厚度的实际情况，对空洞产生定理的分析比较简单，采用补充视图进行空洞填充复杂度高。

发明内容

本发明的目的在于克服现有技术的不足，提供一种不产生空洞的中间视图合成方法，从而不需要对空洞进行填充，避免了空洞填充时间复杂性。

为实现上述发明目的，本发明不产生空洞的中间视图合成方法，其特征在于，对于给定的拍摄场景，左右两台摄像机间的基线长度设置满足：

其中，z_B为背景深度值、z_F为前景深度值、L_B为背景部分的长度；

在视频终端，使用双向DIBR技术对通过左右两台摄像机获取的两幅参考图像及其对应的深度图像进行三维图像变换，得到两幅虚拟视图，然后将生成的两幅虚拟视图进行融合得到中间视图，该中间视图位于中央眼位置。

本发明的目的是这样实现的。

本发明不产生空洞的中间视图合成方法，在给定的拍摄场景下，通过对左右两台摄像机的基线长度设置，使其小于等于背景深度值Z_B与背景部分的长度L_B的乘积除以背景深度值Z_B与前景深度值的差值的二分之一，这样在视频终端，使用双向DIBR技术对通过左右两台摄像机获取的两幅参考图像及其对应的深度图像进行三维图像变换得到两幅虚拟视图，两幅虚拟视图再进行融合得到中央眼位置的中间视图，该中间视图没有空洞，一定程度上保证合成图像的质量，避免了空洞填充时间复杂性。

附图说明

图1是合成视图中的空洞实例图；

图2是双向DIBR技术在绘制中间视图的流程图；

图3是双向DIBR技术中的空洞产生示意图；

图4是前景边界点在左、右参考图像中对应点示意图；

图5是“前景-背景-前景”设置下的三维图像变换过程示意图；