[发明专利]一种基于3D卷积的深度补全方法

说明书

本发明公开了一种基于3D卷积的深度补全方法，采用3D卷积的方法进行模态特征的学习，将输入的RGB图像与深度图信息相结合，通过捕获在多模态信息中的编码结构进行卷积运算，从而保证信息不被丢失。本发明利用3D卷积对RGB图像和稀疏深度进行特征融合，在网络对输入数据进特征提取的同时保留其模态特征，以充分挖掘数据信息提高深度估计的精度。实验结果表明在室内数据集中3D卷积对于深度补全的精度提升达到了7％以上，而在室外数据集上，其提升效果也达到了3.6％以上。其中室内时精度可达到0.2m，室外时精度也可达到1.2m左右。

技术领域

本发明涉及基于深度学习的深度补全方法，尤其涉及一种基于3D卷积的深度补全方法。

背景技术

近年来，随着计算机视觉在自主驾驶、机器人、运动规划和增强现实等领域的迅速发展，深度估计已成为一个研究热点。然而，各种传感器主要包括RGB相机、基于结构光的传感器(如RGB-D相机)和激光雷达，都有其自身的局限性，影响了深度图的可靠性。例如，激光雷达只为远距离目标提供稀疏的点云数据。商用的RGB-D相机，当表面透明、有光泽、太远或太近时会产生大量丢失的像素。为了克服这些局限性，已有许多研究利用给定的稀疏深度测量来获得一个密集的深度图，称为深度补全。

早期的深度补全工作一般只基于稀疏测量，其估计结果容易产生不必要的模糊和混合深度问题。由于RGB图像包含了丰富的纹理和颜色信息，近年来许多研究都以RGB图像为指导来预测精确的密集深度图。在近些年的深度补全研究中，稀疏深度图被视为一个附加通道，并与RGB图像一起送入网络。一些研究通过有效的卷积空间传播网络学习用于深度预测的稀疏亲和矩阵。在之前的一些研究中还有使用双流式网络处理RGB和稀疏深度图像，以进一步挖掘输入的潜力。这些工作表明，附加模态数据可以提高预测性能。然而，这些多模态数据融合和特征提取只是在空间层面上进行的。与视频数据处理类似，3D卷积用于学习时空特征，而在2D卷积中，它们仅在空间上进行，在输入信号包含RGB图像和稀疏深度信息时，2D卷积无法保留其模态信息。虽然已有研究者将三维卷积应用于雷达点云数据处理，但在多模数据融合阶段仍采用2D卷积。

发明内容

发明目的：针对以上问题，本发明提出一种基于3D卷积的深度补全方法，利用3D卷积的方法进行模态特征的学习，在以往的二维卷积方法中模态特征的学习是缺失的，而通过3D卷积的方法能够充分挖掘数据信息，有效提高深度补全的精度。

技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于3D卷积的深度补全方法，包括以下步骤：

(1)对RGB图像进行特征提取；

所述对RGB图像进行特征提取方法表示为：

选取像素点并设置阈值，之后找到一该点为圆心的半径为3的圆上的16个像素点，选择FAST-12方式完成特征点的判定，再对每个点进行以上的判定，完成特征的提取；

(2)生成稀疏深度测量S，对于多源多模态数据进行数据融合，作为深度学习的先验信息，对个网络进行训练；

所述的对多源多模态数据进行数据融合，生成多模态融合数据，具体方法是：

对于多源多模态数据，首先完成坐标系的统一，将不同传感器的测量结果通过下述公式进行统一：

X_c＝T_cX

公式中的X_c和X表示一个相同的目标点在相机坐标系和其他传感器坐标系下的坐标，T_c表示其两个坐标系之间的转换关系矩阵，由旋转矩阵和平移向量组成；

同时还需要完成通过针孔相机模型将X_c投影到相机平面上以获得像素坐标u：

u＝KX_c