[发明专利]一种基于深度学习的场景深度补全系统及方法

说明书

本发明公开了一种基于深度学习的场景深度补全系统及方法，涉及计算机视觉技术领域。该方法包括获取KITTI数据集中不同模态的场景深度图的特征，所述不同模态的场景深度图包括稀疏深度图与RGB图片；采用基于UNet网络架构的编码解码网络分别提取稀疏深度图和RGB图片的特征；建立并采用基于注意力的图卷积网络和基于注意力的自卷积融合网络分别根据稀疏深度图和RGB图片的特征进行图像恢复，以得到低频深度图和高频深度图；根据低频深度图和高频深度图采用像素级相加的方法生成稠密深度图，完成场景深度补全。本发明可大大提高场景深度补全精度。

技术领域

本发明涉及计算机视觉技术领域，具体而言，涉及一种基于深度学习的场景深度补全系统及方法。

背景技术

近年来，随着计算机视觉技术的发展，自动驾驶、虚拟现实、位姿估计、目标检测等领域都出现了令人瞩目的成就，而深度也逐渐成为了研究热点。但受限于RGB-D相机、激光雷达等传感器的局限性，精确稠密的深度信息的获取依旧是一件困难的事情。激光雷达虽然精度很高，但其本身成本昂贵，且获得的深度信息稀疏不规律。RGB-D相机虽然能获得稠密的深度信息，但它的感知范围有限，效果受到环境影响比较严重。为了获得稠密的精确深度图，克服传感器本身的缺陷，已经有大量的工作开始研究补全给定的稀疏深度图来获得稠密深度图的方法，被称为深度补全。

由于稀疏深度测量丢失了大量的环境信息，尤其是物体几何信息，所以早期只基于稀疏深度图的深度补全效果较差，物体边界模糊，深度混叠严重。为了弥补稀疏深度采样过程中丢失的信息，引入额外信息就成为一种必要手段。RGB图像包含了场景丰富的颜色纹理信息且获取成本低，所以近年来深度补全主要都以RGB图片为引导，补全来自激光雷达的稀疏深度图。

随着深度学习的发展，数据驱动的方法在深度补全领域取得了远超传统方法的成果。现有的基于深度神经网络的深度补全基本上可以分为两种策略，第一种策略是“单一分支结构”，简单而言就是将稀疏深度图与RGB图一起送入网络中，经过一个编码解码网络回归出稠密深度图。这种方法存在的缺点是不能很好地处理异态数据融合的问题，对RGB图片中的几何信息利用不足。另一种策略是“多分支结构”，这种方法本质上是多模型集成，即每一个分支都可以视为单一的深度补全模型，通过将来自不同分支的稠密深度图进行集成，最终可以获得效果更好的结果。因为一般深度补全中只引入RGB图片这一种额外数据，所以“多分支结构”常被设计为“双分支结构”，每一分支侧重处理一种模态的信息。

尽管现有方法都取得了不错的结果，但它们将注意力集中在不同模态特征融合或构建差异性分支上，忽略了不同模态数据的特殊性对结果的影响。事实上，稀疏深度信息作为场景深度值的降采样，它的高频信息缺失且混杂大量噪声，而低频信息就准确很多。彩色图却相反，它包含大量与高频信息相关的场景几何信息，但在低频区域，彩色图片丰富的纹理与颜色变化却可能在这些区域的深度估计结果中引入噪声。又因为在稠密深度图中，低频成分占绝大部分，这就导致学习到的模型对稀疏深度信息存在“数据偏好”，使模型在高低频信息的恢复过程中都偏好利用稀疏深度信息，RGB图片信息利用不足，最终获得一个次优解。

发明内容

为了克服上述问题或者至少部分地解决上述问题，本发明实施例提供一种基于深度学习的场景深度补全系统及方法，可大大提高场景深度补全精度。

本发明的实施例是这样实现的：

第一方面，本发明实施例提供一种基于深度学习的场景深度补全系统，包括图像获取模块、特征提取模块、图像恢复模块以及深度补全模块，其中：

图像获取模块，用于获取KITTI数据集中不同模态的场景深度图，上述不同模态的场景深度图包括稀疏深度图与RGB图片；

特征提取模块，用于采用基于UNet网络架构的编码解码网络分别提取稀疏深度图和RGB图片的特征；