[发明专利]混合红外和色彩分量数据点云

说明书

本公开涉及将RGB数据与红外数据混合以便提供红外数据稀疏的区域中的与深度有关的数据。诸如对应于点云数据的红外数据被处理以确定其中的稀疏区域。对于任何这样的稀疏区域，与RGB数据中的对应区域相对应的RGB数据被添加到数数据结构。可包括或被串联到IR数据的数据结构可被用于与深度有关的数据，例如与点云一起使用。

背景

在主动深度感测中，投影仪投射诸如红外(IR)小点等光图案来照亮被感测的区域。所投射的图案随后被(立体系统中的两个或更多个)相机/传感器捕捉，其中一个(或多个)图像被处理以计算深度图等(例如逐帧的)。红外是有利的，因为彩色(RGB)图像导致具有很多噪声的深度值。

在立体系统中，立体相机捕捉来自不同视点的两个图像。随后，例如，对立体图像对执行深度估计的一种方式是找出图像之间的的对应关系，例如以便将一个图像中的所投影的和感测到的每个IR小点与另一图像中的对应IR小点进行相关。一旦匹配，图像内投射的图案可以彼此相关，且相关小点的一个或多个特征之间的不同被用来估计距该特定小点对的深度。例如，原始(原生)相机分辨率的密集深度图可通过区域匹配(例如，经由5×5大小的窗口)来获取。

然而，不是所有的表面都特别好地反射IR光。因此，在图像的对应于差反射IR表面的任何部分，立体图像中一般没有足够的IR数据(例如，经反射的小点)来与彼此相关，并因而没有深度数据或非常稀疏的深度数据。这即使是对于单个二维深度图也存在问题；在点云应用中，诸如那些使用深度数据来构建网格的应用中，在某些区域中缺乏足够的深度数据可能甚至是更明显的。

概述

提供本概述以便以简化形式介绍将在以下的详细描述中进一步描述的一些代表性概念的选集。本概述不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在以限制所要求保护的主题的范围的任何方式来使用。

简而言之，此处描述的主题的各方面中的一个或多个涉及使用色彩分量(例如RGB)数据来扩充红外数据稀疏的区域中的红外数据。一个或多个方面涉及获得具有红外数据点的红外数据以及具有对应于图像平面的色彩分量数据点的色彩分量数据。在确定红外图像数据中的一个区域就其中具有的红外数据点而言是稀疏区域之际，将与来自色彩分量图像数据中的对应区域的色彩分量数据点相对应的至少一些色彩分量数据添加到数据结构中。

在一个或多个方面，一种图像处理组件被配置成接收由至少一个红外(IR)相机所捕捉的红外图像，以及由至少一个RGB相机所捕捉的对应的红、绿、蓝(RGB)图像。耦合到或者并入到所述图像处理组件的混合组件处理对应于红外图像的红外数据以确定其中的一个或多个稀疏区域。对于每个稀疏区域，将与对应RGB图像中的对应区域相对应的RGB数据添加到数据结构。

一个或多个方面涉及获得对应于投射在第一图像平面上的点云数据的第一IR数据以及获得对应于投射在该第一图像平面上的点云数据的第一RGB数据。确定第一红外数据中的一个或多个稀疏的红外区域以及稀疏的红外区域在第一RGB数据中的一个或多个对应区域。将来自一个或多个对应区域的至少一些RGB数据添加到数据结构。这可用第二组IR数据和RGB数据来执行，以此类推，以将IR数据稀疏的区域中的RGB数据添加到该数据结构中。

结合附图阅读以下详细描述，本发明的其他优点会变得显而易见。

附图简述

作为示例而非限制，在附图中示出了本发明，附图中相同的附图标记指示相同或相似的元素，附图中：

图1是表示根据一个或多个示例实现的可用于用RGB数据来扩充稀疏的红外数据的示例组件的框图。

图2是根据一个或多个示例实现的将小点投影到场景中以获得IR数据的示例的表示。

图3是根据一个或多个示例实现的投射的小点可如何在多相机设置场景中使用的表示。

图4是根据一个或多个示例实现的检测到的红外数据如何会在很差地反射IR光的区域中稀疏的表示。