[发明专利]基于边界的高分辨率深度图生成方法及系统

摘要

本发明披露了通过使用基于边界的处理技术从低分辨率深度信息产生高分辨率深度图的系统和方法。实施例提供的基于边界的处理技术使用边界检测和基于边界的插值算法，用于从低分辨率深度信息和高分辨率图像信息中产生高分辨率深度信息。首先，边界检测算法可以检测到物体的边界（即深度不连续之处），这附近的低分辨率深度信息通常是不准确的，需要利用高分辨率的图像信息来改善。然后，基于边界的插值算法使用边界检测算法提供的边界信息，以改善中间结果的上采样深度信息（如通过对低分辨率深度信息进行空间插值来得到），从而提供更加准确的高分辨率深度信息。

主权项

一种生成高分辨率深度图的方法，包括：接收低分辨率深度信息；接收高分辨率图像信息；对所述低分辨率深度信息进行上采样，以提供和所述高分辨率图像信息具有相同分辨率的中间结果的上采样深度信息；根据所述中间结果的上采样深度信息和所述高分辨率图像信息产生一边界图；使用基于边界的插值和所述边界图，根据所述中间结果的上采样深度信息产生高分辨率深度信息；其中所述产生一边界图包括：根据所述中间结果的上采样深度信息计算深度梯度；归一化所述深度梯度；根据所述高分辨率图像信息，计算图像梯度；根据所述归一化深度梯度和所述图像梯度，产生一联合深度和图像梯度；使用所述联合深度和图像梯度，检测边缘，其中一个或多个被检测到的边缘被用作为所述边界图中的边界；其中所述产生一联合深度和图像梯度包括：根据所述归一化的深度梯度和图像梯度，选择性地组合梯度信息，以提供所述联合深度和图像梯度；其中所述选择性地组合包括：根据所述深度梯度和图像梯度之间的方向一致性，组合深度梯度和对应的图像梯度；其中，当深度梯度和相应的图像梯度有相似的方向时，将两者的向量合并在一起，组成联合深度和图像梯度；当深度梯度和相应的图像梯度方向上差别较大时，在联合深度和图像梯度中，丢弃图像梯度而仅仅保留深度梯度，其中所述相似和所述差别较大根据深度梯度向量的方向与图像梯度向量的方向之间的夹角来确定。