[发明专利]基于深度信息的多视点图像超分辨方法

说明书

技术领域

本发明涉及一种基于深度信息的多视点图像超分辨方法，属于图像处理技术领域。

背景技术

目前多视点视频的获取和播放技术有了很大发展，3D立体视频成为一项很有前景的应用。但是伴随着立体视频的发展，随之产生了很多问题，例如传输数据量的增加以及计算复杂度的负担。其解决方法是采用混合分辨率的多视点视频架构，在发送端将个别视点的彩色图下采样，得到低分辨率形式，而在接收端通过超分辨技术恢复出其高频成分，以有效降低传输数据量和计算复杂度。如何在接收端有效恢复出低分辨率视点的高频信息具有重要的研究和应用意义。

文献“Super resolution for multiview images using depth information,IEEE Trans.Circuits Syst.Video Technol.,vol.22,no.9,pp.1321–1331,2012”公开了一种多视点图像超分辨方法。该方法利用深度信息在低分辨率视点和高分辨率视点的图像像素之间建立映射关系，然后利用反向投影的方法对这种映射关系的有效性进行检测，仅保留符合此有效性的像素点将其从高分辨率视点投影到低分辨率视点上，分离出高频成分作为对低分辨率视点的高频信息估计，得到低分辨率视点的分辨率提升结果。该方法的缺陷是利用反向投影法进行不同视点间像素映射关系的有效性检测，仅利用了图像的深度信息，由于前景物体边缘深度不准确会产生边缘伪影现象；其次，为进行反向投影需要进行两次视点间映射，增加了计算复杂度。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于深度信息的多视点图像超分辨方法。该方法采用基于深度和色度的联合视点间像素映射关系的有效性检测，在进行低分辨率视点的超分辨重建时，可以有效消除边缘伪影现象，提高超分辨重建图像的质量。

为了实现上述发明目的，本发明采用如下技术方案：

一种基于深度信息的多视点图像超分辨方法，该方法采用基于深度和色度的联合视点间像素映射关系的有效性检测，以消除边缘伪影现象，该方法包括以下步骤：

1)分别输入低分辨率视点视点n的深度图D_n和低分辨率彩色图高分辨率视点视点k的深度图D_k和高分辨率彩色图V_k；

2)对视点n的低分辨率彩色图进行上采样，得到其低频成分图像

3)对视点k的高分辨率彩色图V_k先后进行下采样和上采样，得到其低频成分图像

4)在视点n和视点k间进行视点映射，并进行基于深度差的视点间像素映射关系的有效性检测，将投影到视点n的图像位置上，得到投影图像

5)将投影图像与视点n的低频成分图像进行亮度对比，以此调整视点k的高分辨率彩色图V_k的图像亮度，得到亮度调整后的图像V′_k；

6)将亮度调整后的图像V′_k先后进行下采样和上采样，得到其低频成分图像

7)在步骤4)的投影结果的基础上进行基于亮度差的视点间像素映射关系的有效性检测，将V′_k投影到视点n的图像位置上，得到V_n|k；

8)分离出投影图像V_n|k的高频成分图像

9)对高频成分图像和低频成分图像进行求和，得到视点n的高分辨重建图像

优选的，在步骤4)中进行视点映射时，根据针孔相机模型，采用后向投影法，先将视点n的像素位置(u,v)投影到世界坐标系的坐标点(x,y,z)上，然后从(x,y,z)投影到视点k的像素位置(u’,v’)上。

优选的，在步骤4)中进行基于深度差的视点间像素映射关系的有效性检测，检测结果用a_d表示：