[发明专利]一种平衡数据偏好的深度补全系统及方法

说明书

本发明公开了一种平衡数据偏好的深度补全系统及方法，该方法包括分别提取稀疏深度图和RGB图片的特征；根据稀疏深度图和RGB图片的特征采用双分支结构分别进行低频成分估计和高频成分估计并进行图像恢复，以得到低频深度图和高频深度图；根据低频深度图和高频深度图采用像素级相加的方法生成稠密深度图，完成图像深度补全。涉及计算机视觉技术领域。本发明可缓解高频成分对稀疏深度信息的偏好，有效提高深度补全结果的精度。

技术领域

本发明涉及计算机视觉技术领域，具体而言，涉及一种平衡数据偏好的深度补全系统及方法。

背景技术

近年来，随着计算机视觉技术的发展，自动驾驶、虚拟现实、位姿估计、目标检测等领域都出现了令人瞩目的成就，而深度也逐渐成为了研究热点。但受限于RGB-D相机、激光雷达等传感器的局限性，精确稠密的深度信息的获取依旧是一件困难的事情。激光雷达虽然精度很高，但其本身成本昂贵，且获得的深度信息稀疏不规律。RGB-D相机虽然能获得稠密的深度信息，但它的感知范围有限，效果受到环境影响比较严重。为了获得稠密的精确深度图，克服传感器本身的缺陷，已经有大量的工作开始研究补全给定的稀疏深度图来获得稠密深度图的方法，被称为深度补全。

由于稀疏深度测量丢失了大量的环境信息，尤其是物体几何信息，所以早期只基于稀疏深度图的深度补全效果较差，物体边界模糊，深度混叠严重。为了弥补稀疏深度采样过程中丢失的信息，引入额外信息就成为一种必要手段。RGB图像包含了场景丰富的颜色纹理信息且获取成本低，所以近年来深度补全主要都以RGB图片为引导，补全来自激光雷达的稀疏深度图。

尽管现有方法都取得了不错的结果，但它们将注意力集中在不同模态特征融合或构建差异性分支上，忽略了不同模态数据的特殊性对结果的影响。事实上，稀疏深度信息作为场景深度值的降采样，它的高频信息缺失且混杂大量噪声，而低频信息就准确很多。彩色图却相反，它包含大量与高频信息相关的场景几何信息，但在低频区域，彩色图片丰富的纹理与颜色变化却可能在这些区域的深度估计结果中引入噪声。又因为在稠密深度图中，低频成分占绝大部分，这就导致学习到的模型对稀疏深度信息存在“数据偏好”，使模型在高低频信息的恢复过程中都偏好利用稀疏深度信息，RGB图片信息利用不足，最终获得一个次优解。

发明内容

为了克服上述问题或者至少部分地解决上述问题，本发明实施例提供一种平衡数据偏好的深度补全系统及方法，可缓解高频成分对稀疏深度信息的偏好，有效提高深度补全结果的精度。

本发明的实施例是这样实现的：

第一方面，本发明实施例提供一种平衡数据偏好的深度补全系统，包括特征提取模块、高低频估计模块以及图像补全模块，其中：

特征提取模块，用于分别提取稀疏深度图和RGB图片的特征；

高低频估计模块，用于根据稀疏深度图和RGB图片的特征采用双分支结构分别进行低频成分估计和高频成分估计并进行图像恢复，以得到低频深度图和高频深度图；

图像补全模块，用于根据低频深度图和高频深度图采用像素级相加的方法生成稠密深度图，完成图像深度补全。

为了解决现有技术中对稀疏深度信息存在“数据偏好”，使模型在高低频信息的恢复过程中都偏好利用稀疏深度信息，RGB图片信息利用不足的技术问题，本系统通过特征提取模块采用独立的编码解码网络分别提取稀疏深度图和RGB图片这两个异构数据的特征，然后高低频估计模块采用“双分支结构”分别恢复稠密深度图的高频成分和低频成分，达到在低频成分恢复过程中稀疏深度信息占优，高频成分恢复过程RGB图片信息占优的目的，通过图像补全模块将两者进行结合，以得到一个稠密深度图，从而缓解高频成分对稀疏深度信息的偏好，有效提高深度补全结果的精度。

基于第一方面，在本发明的一些实施例中，上述特征提取模块包括第一提取子模块和第二提取子模块，其中：