[发明专利]基于深度图后向映射的图像渲染方法和图像渲染装置

说明书

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种基于深度图后向映射的图像渲染方法和图像渲染装置。

背景技术

近年来，随着显示视觉技术的飞速发展，各种新型的立体显示技术纷纷出现，如偏振光立体显示技术、裸眼多视点立体显示技术、被动同步的立体显示技术等，在全球范围内掀起一场立体技术的视觉革命。立体显示技术以其强烈的立体感知真实感，给人以身临其境的震撼感觉。立体显示技术在自由视点视频(Free Viewpoint Video)、虚拟现实、立体电视、立体游戏等诸多领域有着广泛的应用前景。

然而，在立体显示技术快速发展的同时，由于多视点视频、图像资源获取成本高，适合立体显示设备使用的片源稀缺，无法满足观众日益增长的观赏需求。此外，二维片源的拍摄、编码、传输等技术已经十分成熟，而且形成了庞大的产业链，要进行三维立体视频产业链的替换需要付出巨大的代价。而现有的大部分二维片源是由单个摄像机拍摄形成的，因此，如何将二维片源转化为立体片源，是一个极具现实意义的问题。

现有的2D转3D技术通常是通过对深度图像（Depth Image）进行提取，并对深度图像进行滤波，然后根据深度图对虚拟视图进行渲染。但由于前景遮挡背景等原因，现有技术的渲染结果中普遍出现空洞和失真问题，较大的空洞造成图像信息的丢失，失真更是极大地降低图像的质量。

发明内容

本发明旨在至少在一定程度上解决上述技术问题之一或至少提供一种有用的商业选择。为此，本发明的一个目的在于提出一种具有渲染效果好、渲染速度高的基于深度图后向映射的图像渲染方法。本发明的另一个目的在于提出一种具有渲染效果好、渲染速度高的基于深度图后向映射的图像渲染装置。

根据本发明实施例的基于深度图后向映射的图像渲染方法，包括：A.输入参考视图和对应的深度图；B.根据所述参考视图和所述深度图，获取映射坐标集；C.对所述映射坐标集进行平滑滤波，得到滤波后的映射坐标集；D.根据所述滤波后的映射坐标集，对所述参考视图进行后向映射，生成对应的虚拟视图；以及E.对所述虚拟视图进行边缘修整，得到最终虚拟视图。

在本发明的方法的一个实施例中，所述步骤B进一步包括：B1.根据所述参考视图和所述深度图，通过下列公式计算各个像素对应的映射坐标，获得映射坐标集：

x′=x-Nu*a*(dref(x,y)-d)y′=y,]]>其中(x,y)表示所述虚拟视图中像素的参考坐标，(x′,y')表示所述(x,y)移位前在所述参考视图中的映射坐标，Nu表示所述虚拟视图的序号，Nu=0表示所述参考视图，a表示比例因子，d_ref(x，y)表示所述虚拟视图中像素(x,y)的深度值；d₀表示所述虚拟视图对应的虚拟摄像机的光心到零视差平面之间的距离；B2.对所述映射坐标集进行边界约束处理，以避免渲染结果超出所述参考视图边界范围；和B3.对所述映射坐标集进行顺序约束处理，以避免违背顺序约束原则导致渲染结果失真。