[发明专利]一种基于RGB-D传感器的深度信息优化方法

说明书

本发明公开了一种基于RGB‑D传感器的深度信息优化方法，所述方法包括以下四点：一是将利用RGB‑D传感器获得的RGB图和视差或深度图，分别作为引导图和目标图；二是用一定大小的滤波窗口对目标图进行像素局域方差计算并对目标图进行无效像素提取后得到置信度图；三是采用利用遮挡关系改进的基于置信度引导的双边滤波方法，设定目标函数；在置信度引导双边滤波方法的基础上，基于近景物体和远景物体相互遮挡的关系对目标函数公式引入遮挡修整项；遮挡修整项由目标图中的像素值计算得到；四是将引导图、目标图、置信度图作为输入，采用利用遮挡关系改进的基于置信度引导的双边滤波方法进行处理，输出优化后的目标图。

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种基于RGB-D传感器的深度信息优化方法。

背景技术

目前RGB-D传感器已经有成熟的应用，从原理上可分为双目测量、结构光、TOF、激光雷达等，不同型号其成像质量和效果差异很大。

因为场景中物体间的遮挡、物体表面的弱纹理、反光、透明材料等，RGB-D传感器在这些区域不能获得准确的距离信息，导致深度信息不完整或有很多错误数据，不能直接用于距离测量或表面重建。

近年来兴起了用深度学习来进行深度预测或补全深度信息的方法，但是需要匹配硬件或大量的计算资源，且对不同场景的泛化能力较弱。由此，本申请提出一个简便易行的方法来补全RGB-D传感器的深度信息，对计算资源消耗较小，且无需根据场景修改算法。

发明内容

针对现有技术存在的不足，本发明的目的在于提供一种基于RGB-D传感器的深度信息优化方法。

本申请采用的方法其输入包括目标图和引导图，输出为补全后的目标图。方法中以RGB-D传感器获得的视差图或深度图作为目标图，以其对应的RGB图作为引导图。置信度图是计算过程的中间产物，根据目标图中的信息来生成。在置信度图的生成中，利用了一个经验性的事实：视差或深度数据中数值准确的区域往往数值相对平滑，而数值不准确的区域往往数值剧烈变化，所以置信度图可以按照像素周围区域的平滑度来构造。

针对上述想法，被申请内容对目标图计算像素局域方差，计算公式如下：

Var(x)＝E[x²]-(E[x])² (1)

其中E为均值滤波操作。首先设定尺寸与目标图宽度成正比的滤波窗口，进行局域方差计算，然后截取局域方差较大的像素，与数值缺失的像素一起，作为置信度图中值为X的点，其余点的值设为Y。另一可选方案是，进行局域方差计算后，把归一化后的方差直接作为置信度图中的值，数值缺失的像素在置信度图中值为X，其余点的值设为Y。

基于上述的像素局域方差计算，可由目标图得到置信度图。现根据引导图、目标图、置信度图，被申请内容采用利用遮挡关系改进的基于置信度引导的双边滤波方法来补全RGB-D传感器数据中深度数据缺失的部分。

利用遮挡关系改进的基于置信度引导的双边滤波方法以引导图为参考来对目标图中的像素进行保边去噪。其输入包括三张图，第一张图提供像素值(目标图)，第二张图提供像素的分布(引导图)，第三张图提供像素值的保真程度(置信度图)。

本申请内容涉及的利用遮挡关系改进的基于置信度引导的双边滤波方法描述具体如下。

首先，引入基于置信度引导的双边滤波方法方程，如下两个表达式：