[发明专利]基于深度信息的多视点图像超分辨方法

权利要求书

1.一种基于深度信息的多视点图像超分辨方法，该方法采用基于深度和色度的联合视点间像素映射关系的有效性检测，以消除边缘伪影现象，该方法包括以下步骤：

1)分别输入低分辨率视点视点n的深度图D_n和低分辨率彩色图高分辨率视点视点k的深度图D_k和高分辨率彩色图V_k；

2)对视点n的低分辨率彩色图进行上采样，得到其低频成分图像

3)对视点k的高分辨率彩色图V_k先后进行下采样和上采样，得到其低频成分图像

4)在视点n和视点k间进行视点映射，并进行基于深度差的视点间像素映射关系的有效性检测，将投影到视点n的图像位置上，得到投影图像

5)将投影图像与视点n的低频成分图像进行亮度对比，以此调整视点k的高分辨率彩色图V_k的图像亮度，得到亮度调整后的图像V′_k；

6)将亮度调整后的图像V′_k先后进行下采样和上采样，得到其低频成分图像

7)在步骤4)的投影结果的基础上进行基于亮度差的视点间像素映射关系的有效性检测，将V′_k投影到视点n的图像位置上，得到V_n|k；

8)分离出投影图像V_n|k的高频成分图像

9)对高频成分图像和低频成分图像进行求和，得到视点n的高分辨重建图像

2.根据权利要求1所述的基于深度信息的多视点图像超分辨方法，其特征在于：在步骤4)中进行视点映射时，根据针孔相机模型，采用后向投影法，先将视点n的像素位置(u,v)投影到世界坐标系的坐标点(x,y,z)上，然后从(x,y,z)投影到视点k的像素位置(u’,v’)上。

3.根据权利要求1所述的基于深度信息的多视点图像超分辨方法，其特征在于：在步骤4)中进行基于深度差的视点间像素映射关系的有效性检测，检测结果用a_d表示：

ad(u,v)=1,if|Dn(u,v)-Dk(u′,v′)|<T10,else,]]>

T₁为预先设定的阈值，若a_d等于1表示该像素点的映射结果满足有效性检测，若a_d等于0则表示不满足，将满足有效性检测的像素点投影到视点n的图像位置上，得到投影图像

4.根据权利要求1所述的基于深度信息的多视点图像超分辨方法，其特征在于：在步骤5)中将投影图像与视点n的低频成分图像转换到HSV颜色空间进行亮度对比。

5.根据权利要求1所述的基于深度信息的多视点图像超分辨方法，其特征在于：在步骤5)中对HSV颜色空间的视点k的高分辨率彩色图V_k的亮度分量进行调整，然后将V_k由HSV颜色空间转换到RGB颜色空间，得到亮度调整后的图像V′_k。

6.根据权利要求1所述的基于深度信息的多视点图像超分辨方法，其特征在于：在步骤7)中先将视点k的低频成分图像投影到低分辨率视点的图像位置上得到投影图像然后进行基于色度差的视点间像素映射关系的有效性检测，检测结果用a_c表示：

ac(u,v)=1,if|Vn|kL′(u,v)-VnL(u,v)|<T20,else,]]>

T₂为预先设定的阈值，若a_c等于1表示该像素点的映射结果满足有效性检测，若a_c等于0则表示不满足，将亮度调整后的图像V_k'中同时满足基于深度差的视点间像素映射关系有效性检测和基于色度差的视点间像素映射关系有效性检测的像素点投影到视点n的图像位置上，得到投影图像V_n|k。