[发明专利]一种基于红外图和深度图的深度信息补全方法

说明书

一种基于红外图和深度图的深度信息补全方法，其包括如下步骤：S100：数据集的采集、获取和预处理；S200：构建一个全卷积神经网络，输入是红外图，输出是与之对应的法向量图；S300：对所述法向量图、红外图进行边缘提取得到的红外边界图和原始深度图进行深度优化，得到补全后的深度图。该方法能够提高深度图像质量，获得更为准确的点云信息和深度图。

技术领域

本公开属于机器视觉、图像处理技术领域，具体涉及一种基于红外图和深度图的深度信息补全方法。

背景技术

随着社会和科技的快速发展，深度相机在诸如自动驾驶、场景重建、AR等领域的应用也越来越广泛。但是当拍摄场景过于复杂，由于存在光照不足或过曝、拍摄物体距离相机过远或过近、拍摄物体之间相互遮挡等问题，导致最终得到的深度信息不可避免地会存在数据缺失问题，形成空洞。

目前存在很多填充深度空洞的方法，除了传统方法外，还有端到端神经网络等。但是端到端神经网络对于一些大的空洞往往补偿效果不尽如人意，而应用彩色图和深度图训练网络来进行填充的方法往往存在彩色图和深度图的对齐问题，现有的对齐方法很难保证像素间的完全对齐。

发明内容

为了解决上述问题，本公开提供了一种基于红外图和深度图的深度信息补全方法，其包括如下步骤：

S100：数据集的采集、获取和预处理；

S200：构建一个全卷积神经网络，输入是红外图，输出是与之对应的法向量图；

S300：对所述法向量图、红外图进行边缘提取得到的红外边界图和原始深度图进行深度优化，得到补全后的深度图。

上述方法不使用以往常用的彩色图，而改用红外图，由于红外图与深度图是同一摄像头拍摄所得，两者像素间是肯定对齐的。该方法提高了深度图像质量，获得更为准确的点云信息和深度图。

附图说明

图1是本公开一个实施例中所提供的一种基于红外图和深度图的深度信息补全方法流程图；

图2是本公开一个实施例中所提供的由点云信息求解法向量的流程图；

图3是本公开一个实施例中所提供的全卷积神经网络架构图；

图4是本公开一个实施例中所提供的最终深度优化的流程图。

具体实施方式

结合附图1至图4在一个实施例中，如图1所示，本公开提供了一种基于红外图和深度图的深度信息补全方法，其包括如下步骤：

S100：数据集的采集、获取和预处理；

S200：构建一个全卷积神经网络，输入是红外图，输出是与之对应的法向量图；

S300：对所述法向量图、红外图进行边缘提取得到的红外边界图和原始深度图进行深度优化，得到补全后的深度图。

该方法的优点是红外图和深度图的像素之间是完全一一对应的，可更加准确地利用像素的邻域信息，而基于彩色图和深度图的方法由于难以保证像素级别的一一对应，故在后续的使用中不论是某点的像素值还是该点的邻域信息都会存在偏差，这就导致了补全的深度信息的精度下降，同时本方法还可以提高了深度图边缘信息的准确度。