[发明专利]基于卷积神经网络的全景深度估计方法

权利要求书

1.一种基于卷积神经网络的全景深度估计方法，其特征在于，包括以下步骤：

步骤S1:采集室外环境的RGB图像，深度图像，LIDAR投影的稀疏全景深度图像，并根据柱面投影原理将RGB图像以及深度图像拼接成为全景图像；

步骤S2:构建卷积神经网络模型，并基于的得到全景图像训练，得到训练后的卷积神经网络模型；

步骤S3:将待测的全景图像输入训练后的卷积神经网络模型，获得密集的全景深度预测图像；

所述卷积神经网络模型每一层网络依次执行卷积、全景条件正则化、激活、池化操作，使用ReLU激活函数:

设输入的全景图像尺寸大小为C×H×W，最小批次λ＝[F_i]，全景深度条件正则化网络层定义为：

其中，ε是数值稳定性小常数，α_i,c,h,w,β_i,c,h,w是可学习参数；

设定LIDAR深度信息为函数由于产生的新参数依赖于LIDAR深度信息，因此，网络层命名为PDCBN；

在不同位置具有不同的像素值，在映射的过程中应该按照像素依次映射；设定s_c与y_c函数：

在函数s_c与y_c中，给定LIDAR投影的稀疏全景深度图像中的一点如果该点从LIDAR投影到全景图像中存在，那么认定该点是有效的，通过PDCBN网络层来增强或者抑制的深度值；反之，该点是无效点，则使用普通的BN网络层处理。

2.根据权利要求1所述的基于卷积神经网络的全景深度估计方法，其特征在于，所述步骤S1采用开放的城市模拟器Carla采集室外环境的RGB图像，深度图像，LIDAR投影的稀疏全景深度图像。

3.根据权利要求2所述的基于卷积神经网络的全景深度估计方法，其特征在于，所述步骤S1具体为：

步骤1-1：在开放的城市模拟器Carla的数据采集车上装载若干个RGB相机，若干个深度相机，一个64线LIDAR，深度相机与RGB相机对应，形成360°全景视野，并在Carla中操控数据采集车，采集室外环境下的RGB图像，深度图像，LIDAR投影的稀疏全景深度图像；

步骤1-2：基于柱面投影原理，将每张RGB图像，深度图像柱面投影，根据柱面投影后的重合区域，拼接成全景图像；

步骤1-3:将拼接的图像裁剪成预设比例的全景图像。

4.根据权利要求3所述的基于卷积神经网络的全景深度估计方法，其特征在于，所述步骤1-2具体为：设定单张图像为四边形ABCD，表示待处理平面，柱面投影之后，变成曲面EFGE1F1G1；

设原图像宽为w,高为h，相机视场角度为α，则相机焦距f表示为：

f＝w/(2*tan(α/2)) (1)

图像上某像素点位置为(x,y)，则柱面投影后的像素点坐标为(x₁,y₁)：

图像柱面投影后，根据单个相机与左右相邻相机重合视场角度θ，拼接成全景图像。

5.根据权利要求1所述的基于卷积神经网络的全景深度估计方法，其特征在于，所述步骤S2具体为：

步骤2-1:构建待训练的卷积神经网络模型，以全景图像和从LIDAR投影的稀疏全景深度图像作为输入；

步骤2-2:使用反向传播算法计算损失函数损失值，通过迭代计算减小误差进行参数学习，使预测值逼近真实值，获得训练后的卷积神经网络模型。

6.根据权利要求5所述的基于卷积神经网络的全景深度估计方法，其特征在于，所述卷积神经网络模型使用深度真实值d_tru与模型对像素预测值d_pre的绝对误差来训练模型，并根据LIDAR的稀疏深度真实值，对有效像素N上的损失进行平均

损失函数定义为：