[发明专利]一种基于L1-L2罚函数的深度图超分辨率重建方法

说明书

本发明公开了一种基于L1‑L2罚函数的深度图超分辨率重建方法，包括以下步骤：步骤一、初始估计深度的计算：将低分辨率的深度图映射到高分辨率彩色图像坐标平面；步骤二、掩模矩阵的计算：构造对角矩阵，若第i个像素点位于低分辨率深度图在高分辨率彩色图像的映射坐标之上，其第i个对角元素为1，否则为0；步骤三、近邻矩阵的计算：通过高分辨率彩色图像像素点之间在YCbCr空间上的颜色相似性构造近邻矩阵；步骤四、构造深度超分辨率重建模型：建立深度超分辨率重建的能量模型；步骤五、求解能量模型，获得重建的高分辨率深度图。本发明的优点在于：能够在保持对象内部深度平滑过渡的同时，增强深度图的对象边缘。

技术领域

本发明涉及计算机视觉和图像处理领域，尤其指一种基于L1-L2罚函数的深度图超分辨率重建方法，用于立体视觉或深度传感器获取图像的超分辨率增强。

背景技术

机器人导航、机器人自主抓取、手势识别、碰撞检测、3D重建、工业自动化及虚拟现实都依赖于高分辨率的深度信息。虽然随着深度相机的广泛普及，我们可实时获得3D场景的深度；但受传感器的限制，这些相机仅能获取低分辨率的深度图。这一局限性限制了深度相机在上述场合应用的性能。为此，人们提出各种方法用于深度图的分辨率增强；深度图超分辨率重建是指不改变深度相机硬件的前提下，通过算法提高深度图分辨率和质量的技术。

当前广泛采用的方法是基于图像引导的技术，即假设高分辨率彩色图像的边缘对应着深度图的边缘，将深度图的坐标映射到高分辨率的彩色图像平面，然后根据坐标点之间颜色或亮度的相似性进行深度插值。现有方法存在的问题是难以保持深度图的对象边缘，而对象边缘包含了深度图的主要能量，决定了其后续应用的效果。

发明内容

本发明所要解决的技术问题是针对现有技术的现状，提供重建效果好，能够在保持对象内部深度平滑过渡的同时，增强深度图的对象边缘的一种基于L1-L2罚函数的深度图超分辨率重建方法。

本发明解决上述技术问题所采用的技术方案为：

一种基于L1-L2罚函数的深度图超分辨率重建方法，其特征是：包括以下步骤：

步骤一、初始估计深度的计算：将低分辨率的深度图映射到高分辨率彩色图像坐标平面；

步骤二、掩模矩阵的计算：构造对角矩阵，若第i个像素点位于低分辨率深度图在高分辨率彩色图像的映射坐标之上，其第i个对角元素为1，否则该元素为0；

步骤三、近邻矩阵的计算：通过高分辨率彩色图像像素点之间在YCbCr空间上的颜色相似性构造近邻矩阵；

步骤四、构造深度超分辨率重建模型：建立深度超分辨率重建的能量模型，第一项为重建深度与初始深度之间的差异，即保真项，第二项为L1-L2罚函数正则项；

步骤五、能量模型求解：对于步骤四构造的能量模型，采用广义迭代重新加权最小二乘法予以求解，获得重建的高分辨率深度图。

为优化上述技术方案，采取的具体措施还包括：

上述的步骤一的初始估计深度的计算中，映射计算公式为：

B(sr,sc)＝Y(r,c)

其中B为初始深度图的矩阵表示，Y为低分辨率深度图的矩阵表示，(r,c)表示空间坐标，s为分辨率增大倍数。

上述的步骤三的近邻矩阵的计算中，相似性计算公式为：