[发明专利]一种基于深度学习的场景深度补全系统及方法

权利要求书

1.一种基于深度学习的场景深度补全系统，其特征在于，包括图像获取模块、特征提取模块、图像恢复模块以及深度补全模块，其中：

图像获取模块，用于获取KITTI数据集中不同模态的场景深度图，所述不同模态的场景深度图包括稀疏深度图与RGB图片；

特征提取模块，用于采用基于UNet网络架构的编码解码网络分别提取稀疏深度图和RGB图片的特征；

图像恢复模块，用于建立并采用基于注意力的图卷积网络和基于注意力的自卷积融合网络分别根据稀疏深度图和RGB图片的特征进行图像恢复，以得到低频深度图和高频深度图；

所述图像恢复模块包括低频处理子模块，用于根据稀疏深度图的特征构建图模型，包括：将图片原始分辨率上的每个像素点都视为一个节点，稀疏深度图的特征图F_s作为输入，先通过一层标准卷积输出一张粗糙的深度图D_coarse，然后基于深度图D_coarse计算每一个节点的三维空间位置XYZ，将表示XYZ的位置图记作P_XYZ，将P_XYZ与RGB图片的特征图F_rgb相连，经过标准卷积并取整后得到表示节点连接关系的G_E，进而得到图模型；

并将图模型输入到基于注意力的图卷积网络中，采用标准卷积层聚合图卷积输出的特征图，以得到低频深度图；包括：采用公式进行图卷积，以输出图卷积的特征图，其中，P_XYZ是位置图，表示节点的三维空间坐标；F_s是从稀疏深度图提取的特征图，表示节点的初始状态；||表示连接特征图；MLP表示多层感知器；α^i,j表示节点i与节点j之间的注意力值；分别表示在第t+1次图卷积时信息的聚合与状态的更新；表示与节点i相连接的节点的集合；采用标准卷积层聚合图卷积输出的特征图，以得到低频深度图；

所述图像恢复模块包括高频处理子模块，用于基于注意力的自卷积融合网络根据稀疏深度图和RGB图片的特征自适应地选择信息融合区域，通过空间异变卷积让网络自适应地控制稀疏深度图和RGB图片的特征的融合程度，以得到高频深度图；来自不同模态的特征图F首先通过卷积生成空间注意力图F_att，然后将注意力图与特征图相乘，用注意力自适应地选择信息融合区域，得到F'；F'一方面通过通道混合得到异态信息在通道上分布均匀的特征图F′_CS；另一方面通过卷积获得一系列空间异变的卷积核W，该卷积核被用来对多模态信息进行分组卷积；分组卷积的结果F_fuse即为多模态信息融合后的特征图，该特征图被用来继续与其他尺度上的多模特信息融合；

深度补全模块，用于根据低频深度图和高频深度图采用像素级相加的方法生成稠密深度图，完成场景深度补全。

2.根据权利要求1所述的一种基于深度学习的场景深度补全系统，其特征在于，还包括补全评估模块，用于将稠密深度图和预置的对比图进行对比，生成对比评估结果。