[发明专利]边缘保持深度滤波

说明书

背景技术

深度相机用于生成包括多个像素的深度图像。每一个像素包括可用于估计从相机到由该像素成像的表面的距离的信息。该距离可以称为表面的深度。然而，像素信息可能是有噪声的或者包括最终导致不太精确的深度估计的缺陷。

发明内容

提供本发明内容来以简化的形式引入以下在具体实施方式中进一步描述的概念的选择。本发明内容不意图标识所要求保护的主题的关键特征或本质特征，也不意图用于限制所要求保护的主题的范围。另外，所要求保护的主题不限于解决在本公开的任何部分中所指出的任何或全部缺点的实现。

利用经调制光照光来光照场景，经调制光照光从场景中的表面反射为经调制反射光。深度相机的多个像素中的每一个接收经调制反射光并且观察经调制光照光与经调制反射光之间的相位差。对于多个像素中的每一个，识别该像素的边缘性，并且根据该像素的边缘性来平滑该像素。

附图说明

图1示出依照本公开的实施例的对深度信息进行滤波的示例方法。

图2示意性地示出对场景进行成像的飞行时间深度相机。

图3示意性地示出飞行时间深度相机的经调制光照与反射光之间的相位差。

图4A示意性地示出在平滑之前的像素组。

图4B示意性地示出在具有边缘保持的平滑之后的图4A的像素。

图4C示意性地示出在没有边缘保持的平滑之后的图4A的像素。

图5A示出从飞行时间深度相机的角度来看的图2的经成像的场景。

图5B示出具有边缘图重叠的图5A的场景。

图6A示意性地示出具有合理边缘的像素的3x3网格。

图6B示意性地示出具有噪声并且没有合理边缘的像素的3x3网格。

图7示意性地示出依照本公开的实施例的计算系统。

具体实施方式

飞行时间深度相机利用经调制光来光照场景并且然后捕获经反射的经调制光。深度相机的每一个像素用于查明光照光与经反射光之间的相位差。这样的相位差可以用于计算从相机到反射经调制光的表面的距离。然而，这样的经计算距离可能受噪声和/或由深度相机获得的相位差中的其它所不期望的像素到像素的变化的不利影响。为了减少由这样的噪声和/或其它变化所造成的潜在的不利效果，本公开描述了对相位差进行滤波。另外，这样的平滑被选择性地应用以便保持合理的深度边缘。特别地，向被认为对具有不同深度的表面之间的边界进行成像的那些像素应用极少的平滑或不应用平滑。

图1示出对深度图像进行滤波的方法100。在102处，方法100包括利用经调制光照光来光照场景。经调制光照光可以包括具有多个不同调制频率的光。作为一个非限制性示例，经调制光照光可以包括具有16兆赫兹分量、80兆赫兹分量和120兆赫兹分量的光。

例如，图2示意性地示出利用经调制光照光206来光照场景204的深度相机202。特别地，深度相机202包括将经调制光照光206照耀在场景204上的光照器208。光照器可以包括一个或多个发光二极管、激光器和/或其它光源。经调制光照光206可以是任何合适的单数或复数频率或频带。例如，经调制光照光可以完全处于红外或近红外光的一个或多个带内。

转回到图1，在104处，方法100包括接收经调制反射光。例如，图2示出接收经调制反射光210的深度相机202，该经调制反射光210从场景204中的表面反射回到深度相机202。

深度相机202可以包括被配置成接收经调制反射光210的多个像素212。多个像素212中的每一个可以被配置成针对一个或多个不同的调制频率检测所接收到的反射光的时变幅度。照此，每一个像素能够查明到达该像素的反射光的特定调制。作为一个非限制性示例，每一个像素可以被配置成在三个不同时间处对经调制光的强度进行采样，因而允许确定周期性调制的相位。另外，每一个像素可以针对不同调制频率中的每一个进行这样的采样。

转回到图1，在106处，方法100包括在多个像素中的每一个处观察经调制光照光与经调制反射光之间的相位差。可以针对经调制光照光的每一个不同的调制频率观察相位差。作为一个示例，针对每一个像素从深度相机捕获的数据可以表示为：

其中A是经调制幅度并且是相位差。