[发明专利]稀疏三维点云稠密化方法

说明书

本发明公开了一种稀疏三维点云稠密化方法，方法包括：获取同一场景的三维点云和二维图像；将三维点云向二维图像所在平面进行投影，获取稀疏深度图；将稀疏深度图与二维图像经过深度神经网络融合为稠密深度图；将稠密深度图反投影形成稠密化三维点云。此外，还公开了训练深度神经网络的步骤，包括：获取至少一组三维点云样本、二维图像样本及稠密深度图样本；将三维点云样本向同一组内的二维图像样本所在平面进行投影，获取稀疏深度图样本；将稀疏深度图样本作为输入，稠密深度图样本作为输出，训练深度神经网络。相比于现有技术，本发明方案通过组合稀疏深度图与二维图像两者所包含的信息，得到稠密深度图，从而达到稀疏三维点云的稠密化。

技术领域

本发明涉及三维点云处理领域，特别是涉及一种稀疏三维点云稠密化方法。

背景技术

稠密三维点云在自动驾驶、场景重建、场景感知等领域有广泛的应用。在现有技术中，受限于传感器的性能，直接采集高质量的稠密三维点云仍然十分困难、代价高昂。因此，通过算法手段对稀疏点云进行稠密化是广泛采用的解决方案。在工程实践中，稀疏点云稠密化方案主要分为两大类：基于优化的方法以及基于深度学习的方法。

在基于优化方法的技术方案中，假设三维点云所表示的物体表面具有平滑性，进而在三维空间、Voronoi图等域上进行插值达到点云升采样的目的。实际应用中的三维点云很难满足平滑性假设，由此衍生出了一类对形状突变更敏感的升采样方案，包括估计点云法向量来引导升采样等。总体而言，基于优化方法的技术方案采用非数据驱动的方案，高度依赖三维点云的先验知识，使得这类方法在实际应用中效果欠佳。

基于深度学习方法的技术方案是近年来随着计算机技术、深度学习技术发展起来的一类新途径。由于三维点云数据的稀疏、非结构化、不均匀特性，难以直接使用现有的卷积神经网络进行处理，多数基于深度学习的方法都将点云转化为另一种中间表示，例如体素网格，然后使用三维卷积神经网络处理。三维卷积网络计算量巨大，限制了这类方法的实际应用。随着三维点云数据的深度学习方法研究进步，出现了一批直接针对点云进行处理的方法，这类方法大多采用平均池化、最大池化等方法在不同感受野上提取点云特征，但这些方法尚处于早期研究，未能在点云稠密化领域取得良好进展。

鉴于此，本发明提出一种稀疏三维点云稠密化方法，同步获取相同场景的二维图像和三维点云，通过补全残缺深度图以实现稀疏三维点云的稠密化，以缓解现有技术的不足。

发明内容

本发明的目的在于提供一种稀疏三维点云稠密化方法，利用深度神经网络实现二维图像和三维点云的特征提取和融合。

一种稀疏三维点云稠密化方法，包括：获取同一场景的三维点云和二维图像；将三维点云向二维图像所在平面进行投影，获取稀疏深度图；将稀疏深度图与二维图像经过深度神经网络融合为稠密深度图；将稠密深度图反投影形成稠密化三维点云。

进一步地，深度神经网络包括：特征提取模块,特征提取模块包括DenseBlock组件，DenseBlock组件设置在深度神经网络的第2层到第3层；上采样模块，设置特征通道串联，设置卷积层融合特征通道的输出；跳层，连接特征提取模块和上采样模块；局部加权模块，将上采样模块输出的8通道特征图进行若干次循环局部加权平均。

进一步地，将稀疏深度图与二维图像经过深度神经网络融合为稠密深度图的步骤，包括：将稀疏深度图与二维图像分别送入特征提取模块的两个独立通道，进行特征提取，得到第一特征图序列和第二特征图序列；将第一特征图序列和第二特征图序列送入上采样模块融合为第三特征图序列；将第三特征图序列通过局部加权模块生成稠密深度图。

进一步地，将稀疏深度图与二维图像经过深度神经网络融合为稠密深度图的步骤，还包括：将稀疏深度图与二维图像送入若干个第一深度神经网络输出若干个第一稠密深度图，若干个第一深度神经网络的深度各不相同；针对若干个第一稠密深度图每个像素位置动态生成一组加权权重，若干个第一稠密深度图根据每个像素位置权重加权生成稠密深度图。