[发明专利]检测主动立体图像中的边缘的方法和装置

说明书

提供了一种用于生成三维深度图的方法和装置。该方法包括以下步骤：(i)通过具有背景强度的图案投影仪或通过一起操作的泛光投影仪和不具有背景强度的图案投影仪的组合来照射目标；(ii)捕获至少一个图像，该至少一个图像包括存在于经照射的目标处的一个或多个对象；(iii)将至少一个捕获到的图像转换为数据；(iv)处理从该至少一个捕获到的图像的转换中接收到的数据，同时从处理后的数据中滤除投影图案；(v)检测存在于经照射的目标处的一个或多个对象中的至少一个的边缘；以及(vi)生成三维深度图，该三维深度图包括该一个或多个对象中边缘已被确定的至少一个对象。

技术领域

本公开大体上涉及使用光学设备的方法，并且更具体地，涉及对由图案投影仪照射的场景的图像的处理。

背景技术

立体相机装置是由两个相机单元组成并组装在立体模块中的元件。立体视觉(也称为“立体视觉学”或“3D成像”)是一种用于借助于立体影像确定图像深度的技术。换句话说，是具有正常双眼视觉的人用双眼观看场景时感知到的深度印象，双眼视觉导致由于眼睛/相机的不同位置而在双眼中创建场景的两个略微不同的图像。

主动立体视觉是立体视觉的一种形式，其主动采用诸如激光二极管之类的发光器件或被配置为发出结构光(例如，图案光)的设备以便简化立体匹配问题。

与该类型的技术相关联的问题之一是边缘检测，这是检测对象边界的重要因素，这些对象包括在使用立体相机装置检索到的图像中。对边缘边界进行检测可以改进从两个相机检索到的图像之间的匹配过程，由于匹配窗口可能被边缘边界裁剪(位于边缘边界之外的像素可能属于位于不同深度或视差处的对象/环境)，因此它将不会与匹配窗口内存在的像素一起进行匹配，假定匹配窗口内存在的像素在其之间具有非常相似的深度或视差。此外，边缘可用于后处理阶段，以改进获得的最终3D深度图。

存在许多与主动立体图像中的边缘的这种处理相关联的问题。仅举几例，边缘强度随着距相机装置的距离的增大而减小，在应用被配置为发出结构光的设备时检索到的图像中包括的大多数边缘属于投影图案而不是对象的边缘，图案密度太低以至于无法以像素分辨率指定对象边界。解决该问题的选择之一是使用具有增强背景光强度的投影仪以能够检测主动图像中的边缘。

为了解决边缘检测问题，本领域已经提出了许多解决方案。这些解决方案中的一些如下所述。

US20120114225公开了一种图像处理装置，其通过将边缘检测算法应用于深度图像来检测深度图像内的对象之间的遮挡边界。该图像处理装置使用遮挡边界的深度梯度矢量方向将遮挡边界分类为前景区域边界和背景区域边界，并且使用前景区域边界提取输入的深度图像的遮挡区域。

US20120269458描述了一种使用边缘信息对分辨率降低的深度图像进行插值和滤波以恢复高分辨率深度图像的方法，其中，每个深度图像包括各位置处的像素的阵列，并且其中，每个像素具有深度。首先对减少的深度图像进行上采样，通过重复最近邻深度值对缺失的位置进行插值。接下来，将移动窗口应用于经上采样的深度图像中的像素。窗口覆盖以每个像素为中心的像素集。窗口所覆盖的像素是根据它们与深度边缘的相对偏移来选择的，并且只有在中心像素的深度边缘的同一侧内的像素才用于滤波过程。

然而，需要解决的问题是在主动立体实现方式中检测由图案投影仪照射的场景的捕获图像中包括的边缘。

本发明提出了一种在这种情况下实现新的边缘检测机制的解决方案。

发明内容

可以通过参考所附权利要求来概括公开内容。

本公开的一个目的是提供一种方法和装置，其能够从正在处理的图像中去除投影图案，同时保留正在处理的图像中的边缘位置。

本公开的另一个目的是提供一种用于检测包括背景图案的图像内的对象的边缘的方法和装置。