[发明专利]基于边界的高分辨率深度图生成方法及系统

权利要求书

1.一种生成高分辨率深度图的方法，包括：

接收低分辨率深度信息；

接收高分辨率图像信息；

对所述低分辨率深度信息进行上采样，以提供和所述高分辨率图像信息具有相同分辨率的中间结果的上采样深度信息；

根据所述中间结果的上采样深度信息和所述高分辨率图像信息产生一边界图；

使用基于边界的插值和所述边界图，根据所述中间结果的上采样深度信息产生高分辨率深度信息；

其中所述产生一边界图包括：

根据所述中间结果的上采样深度信息计算深度梯度；

归一化所述深度梯度；

根据所述高分辨率图像信息，计算图像梯度；

根据所述归一化深度梯度和所述图像梯度，产生一联合深度和图像梯度；

使用所述联合深度和图像梯度，检测边缘，其中一个或多个被检测到的边缘被用作为所述边界图中的边界；

其中所述产生一联合深度和图像梯度包括：

根据所述归一化的深度梯度和图像梯度，选择性地组合梯度信息，以提供所述联合深度和图像梯度；

其中所述选择性地组合包括：

根据所述深度梯度和图像梯度之间的方向一致性，组合深度梯度和对应的图像梯度；

其中，当深度梯度和相应的图像梯度有相似的方向时，将两者的向量合并在一起，组成联合深度和图像梯度；当深度梯度和相应的图像梯度方向上差别较大时，在联合深度和图像梯度中，丢弃图像梯度而仅仅保留深度梯度，其中所述相似和所述差别较大根据深度梯度向量的方向与图像梯度向量的方向之间的夹角来确定。

2.根据权利要求1所述的方法，其中所述对所述低分辨率深度信息进行上采样，使用了一个空间插值算法。

3.根据权利要求1所述的方法，还包括：

处理所述检测到的边缘，用于确定所述边界图中的所述边界；

所述处理检测到的边缘的处理过程包括：

通过方向性非最大抑制去除重复的边缘；

进行边缘连接；

清洁所检测到的边缘。

4.根据权利要求1所述的方法，其中所述归一化深度梯度包括：

对具有不同采样间隔的样本，进行所述深度梯度归一化。

5.根据权利要求1所述的方法，其中所述选择性地组合包括：

从所述归一化的深度梯度中去除小的深度梯度和它们对应的图像梯度，然后产生所述联合深度和图像梯度。

6.根据权利要求1所述的方法，其中所述选择性地组合包括：

在所述联合深度和图像梯度中抑制大的深度梯度，以强调它们对应的图像梯度。

7.根据权利要求1所述的方法，其中所述产生高分辨率深度信息包括：

对所述中间结果的上采样深度信息使用基于块的分析，对所述边界图中被确定为边界的一部分的块进行改善，对被确定为具有不可靠深度信息的块进行改善。

8.根据权利要求7所述的方法，其中所述基于块的分析包括；

使用所述边界图，确定一个目标块是否是边界块。

9.根据权利要求8所述的方法，其中如果所述目标块被确定为非边界块：

那么确定所述目标块是否有任何紧邻块是边界块或是不可靠块；

如果所述目标块被确定为没有任何紧邻块是边界块或是不可靠块，那么对所述目标块不进行深度信息改善；

如果所述目标块被确定为有紧邻块是边界块或是不可靠块，如果有多个紧邻块被确定为具有可靠深度信息，那么对所述目标块进行深度信息改善；

所述不可靠块是满足以下条件的块：此块的8个紧邻块至少有一个是边界块，并且所有8个紧邻块的深度都不同于此块。

10.根据权利要求9所述的方法，其中对所述目标块进行深度信息改善包括：

仅使用可靠紧邻块的深度信息，进行空间和深度双边插值。

11.根据权利要求10所述的方法，其中如果所述目标块被确定为边界块：

那么将所述目标块根据所述边界分割成子区域，并对每个子区域进行单独的深度信息改善。