[发明专利]一种深度图像的后处理方法

说明书

一种深度图像的后处理方法，包括：(1)小孔填充，利用圆形填充模板，将小孔用相邻像素的视差值填充；(2)较大孔填充，利用方形闭合模板填充较大空洞，同时闭合离散的物体边缘，并保持边缘平滑；(3)边缘收缩，利用方形模板收缩在第二步中膨胀的物体边缘；(4)Mask填充，将第(2)步第(3)步得到的结果，填充到第(1)步操作后视差图的空洞中，保持视差图的细节。通过以上4个步骤，可以有效填充视差图中不同大小的空洞，并且得到平滑的物体边缘。

技术领域

本发明涉及一种深度图像的后处理方法。

背景技术

作为计算机视觉的热门发展方向之一，在过去的几年，深度重建领域发展迅速。相比于其他获取深度信息的方法，例如雷达测距、TOF相机等，双目深度重建系统只需要两个普通的摄像头，设备要求简单，成本更低，在许多领域如机器人导航、智能驾驶和虚拟现实等更具有应用价值。

传统双目重建方法主要分为局部立体匹配方法和全局立体匹配方法。局部立体匹配算法在实现上比较简答，计算量较小，一般可以达到实时的效果，由于其只考虑了局部像素，重建结果常会出现一些异常，在边缘效果也不太好。全局立体匹配算法主要采用全局优化理论估计视差，建立全局能量函数，质量和稳定性都表现较好，但是全局算法往往要经过多次迭代寻找最优值，计算量较大，实时性不强。

大多数深度重建方法为了获得更好的结果，都在后期进行了优化处理。然而，在进行一些常见的优化处理操作(如左右一致性检测、唯一性检测等)后，视差图往往存在各种大小的空洞，边缘也极不光滑。此时直接做简单的插值操作，得到的视差图往往会产生各种拖影，边缘存在各种毛刺，效果不佳。因此针对存在各种空洞的视差图，需要有其他合适的方法进行填充，才能得到较好的结果。

发明内容

本发明针对现有双目深度重建后处理存在的问题，即针对具有各种空洞的视差图直接使用插值操作效果不佳，提出了一种新方法。该方法可以有效填充各种大小的空洞，并且得到光滑的物体边缘。

本发明提出了一种深度图像的后处理方法，包括下列步骤：

1)小孔填充；

针对视差图Disp中稀疏的小孔，设计一个5*5的圆形填充模板C，用该模板遍历Disp中的每一个像素，得到圆形填充模板C所覆盖像素的视差最大值，将其作为当前像素的视差值Disp(x,y)。该圆形填充模板C可以将视差图中的小孔用相邻像素的视差值很好地填充，解决了视差图中的小孔问题。圆形填充模板C的填充公式如下，其中Disp表示视差图，(x,y)表示视差图中各个像素的坐标，x和y分别代表水平坐标和垂直坐标，Disp(x,y)表示视差图中像素的视差值，(i,j)属于填充模板C，Disp(x+i,y+j)表示圆形填充模板C覆盖的各个像素的视差值，max操作表示求圆形填充模板C所覆盖Disp中像素的视差最大值。

2)较大孔填充；

经过小孔填充后，视差图中仍然存在一些较大的空洞，同时物体边缘粗糙不平滑。本发明设计一个15*15的方形闭合模板S，该模板既可以填充较大尺寸的空洞，又可以将物体边缘闭合，并且得到比较平滑的边缘。需要先将视差图Disp复制得到副本DispCopy，接下来的操作将在DispCopy上进行。将方形闭合模板S依次遍历DispCopy中的每一个像素，得到闭合模板S所覆盖像素的视差最大值，将其作为当前像素的视差值DispCopy(x,y)。较大孔填充的公式如下，其中DispCopy表示视差图副本，(x,y)表示DispCopy中的各个像素坐标，x和y分别代表水平坐标和垂直坐标，DispCopy(x,y)表示视差图副本中像素的视差值，(i,j)属于方形闭合模板S，DispCopy(x+i,y+j)表示方形闭合模板S覆盖的各个像素的视差值，max操作表示求方形闭合模板S所覆盖DispCopy中像素的视差最大值。

3)边缘收缩；