[发明专利]基于卷积神经网络的全景深度估计方法

说明书

本发明涉及一种基于卷积神经网络的全景深度估计方法，包括以下步骤：步骤S1:采集室外环境的RGB图像，深度图像，点云数据，并根据柱面投影原理将RGB图像以及深度图像拼接成为全景图像；步骤S2:构建卷积神经网络模型，并基于的得到全景图像训练，得到训练后的卷积神经网络模型；步骤S3:将待测的全景图像输入训练后的卷积神经网络模型，获得密集的全景深度预测图像。本发明能够调整优化全景图像的局部细节，从而估计出密集而且准确的全景深度图像。

技术领域

本发明属于图像识别和人工智能领域，具体涉及一种基于卷积神经网络的全景深度估计方法。

背景技术

深度估计是计算机视觉中的基本任务之一。随着计算机技术的发展，深度学习在计算机视觉领域取得了一系列突破性进展。由于其在机器人技术和计算机视觉的众多任务(例如自动驾驶，定位和地图绘制，路径规划和3D重建)中起着至关重要的作用，因此人们一直希望获得精确的3D感知。目前，已经提出了各种技术来获得深度估计，但是各种技术都不可避免的具有一些缺陷。例如，RGB-D相机仅适用于短距离深度采集；3D LIDAR仅提供稀疏的点云深度信息；立体相机无法在外观均匀或照明变化大的区域中产生可靠的深度估计。而且普遍存在的是，无论何种相机其深度估计的视场角度都受相机视场角度大小的限制。

发明内容

有鉴于此，本发明的目的在于提供一种基于卷积神经网络的全景深度估计方法，能够通过级联融合全景图像与LIDAR深度信息，并根据所提出的PDCBN(全景深度条件正则化)网络层，调整优化全景图像的局部细节，从而估计出密集而且准确的全景深度图像。

为实现上述目的，本发明采用如下技术方案：

一种基于卷积神经网络的全景深度估计方法，包括以下步骤：

步骤S1:采集室外环境的RGB图像，深度图像，点云数据，并根据柱面投影原理将RGB图像以及深度图像拼接成为全景图像；

步骤S2:构建卷积神经网络模型，并基于的得到全景图像训练，得到训练后的卷积神经网络模型；

步骤S3:将待测的全景图像输入训练后的卷积神经网络模型，获得密集的全景深度预测图像。

进一步的，所述步骤S1采用开放的城市模拟器Carla采集室外环境的RGB图像，深度图像，点云数据。

进一步的，所述步骤S1具体为：

步骤1-1：在开放的城市模拟器Carla的数据采集车上装载若干个RGB相机，若干个深度相机，一个64线LIDAR，深度相机与RGB相机对应，形成360°全景视野，并在Carla中操控数据采集车，采集室外环境下的RGB图像，深度图像，点云数据；

步骤1-2：基于柱面投影原理，将每张RGB图像，深度图像柱面投影，根据柱面投影后的重合区域，缝合成为全景图像；

步骤1-3:将缝合的图像裁剪成预设比例的全景图像。

进一步的，所述步骤S1-2具体为：设定单张图像为四边形ABCD，表示待处理平面，柱面投影之后，变成曲面EFGE1F1G1；

设原图像宽为w,高为h，相机视场角度为α，则相机焦距f表示为：

f＝w/(2*tan(α/2)) (1)

图像上某像素点位置为(x,y)，则柱面投影后的像素点坐标为(x₁,y₁)：

图像柱面投影后，根据单个相机与左右相邻相机重合视场角度θ，缝合成全景图像。

进一步的，所述步骤S2具体为：