[发明专利]一种基于3D卷积的深度补全方法

权利要求书

1.一种基于3D卷积的深度补全方法，其特征在于：包括以下步骤：

(1)对RGB图像进行特征提取；

所述对RGB图像进行特征提取方法表示为：

选取像素点并设置阈值，之后找到一该点为圆心的半径为3的圆上的16个像素点，选择FAST-12方式完成特征点的判定，再对每个点进行以上的判定，完成特征的提取；

(2)生成稀疏深度测量S，对于多源多模态数据进行数据融合，作为深度学习的先验信息，对个网络进行训练；

所述的对于多源多模态数据进行数据融合，生成多模态融合数据，具体方法是：

对于多源多模态数据，首先完成坐标系的统一，将不同传感器的测量结果通过下述公式进行统一：

X_c＝T_cX

公式中的X_c和X表示一个相同的目标点在相机坐标系和其他传感器坐标系下的坐标，T_c表示其两个坐标系之间的转换关系矩阵，由旋转矩阵和平移向量组成；

同时还需要完成通过针孔相机模型将X_c投影到相机平面上以获得像素坐标u：

u＝KX_c

其中K表示相机内参矩阵，f_x和f_y表示相机在x和y轴上的焦距，(c_x，c_y)是相机光圈的中心位置；

而生成稀疏深度测量S，则通过在深度图像D^*上获得像素集U，其包括带有真实深度测量的线束坐标u，对于没有深度测量的图像，在深度图像D^*上将他们设置为零，在生成稀疏深度图过程中，使用伯努利概率其中m是采样深度像素的目标数量，n是集合U中的有效深度像素总数，对于每个像素(i，j)，有

其中temp是区间[0，1]中的随机数，对于每个像素应用此操作，生成稀疏深度测量S，最后将RGB图像与稀疏深度测量S，组成多模态融合数据RGBS，同时作为深度学习的先验信息，对神经网络进行训练；

(3)通过随机变换以在线方式增加训练数据；

(4)模态特征提取；

针对输入信号包含RGB图像和稀疏深度的多模态信息，且2D卷积操作无法保留其模态信息的问题，利用3D卷积对RGB图像和稀疏深度进行特征融合，在网络对输入数据进行特征提取的同时保留其模态特征，以充分挖掘数据信息提高深度补全的精度，其中标准的三维卷积计算公式如下：

其中

2.根据权利要求1所述的一种基于3D卷积的深度补全方法，其特征在于：步骤(3)通过随机变换以在线方式增加训练数据：

a)尺度变换：对彩色图像和稀疏深度按随机数s∈[1，1.15]，利用双线性插值进行放大；

b)随机裁剪：将尺度变换后的RGB图像和深度随机裁剪，使其与输入大小一致；

c)颜色调整：对彩色图像的亮度，对比度和饱和度均按k_i∈[0.6，1.4]进行缩放；

d)颜色标准化：彩色图像通过平均减法和除以标准偏差进行归一化。