[发明专利]基于体素模型与颜色信息耦合的三维语义分割方法

说明书

本发明所述基于体素模型与颜色信息耦合的三维语义分割方法，由三维CNN网络提取三维TSDF体素信息并结合三维重建过程中采集到的RGB图像，通过通道信息融合策略而直接实现端到端的三维语义分割，从而实现为三维重建技术之后的相关AR应用提供有力支持。三维语义分割方法包括有以下实施阶段：1)、二维RGB图像处理阶段；2)、三维TSDF体素模型处理阶段；3)、双通道信息融合及三维信息处理阶段。对于二维及三维信息进行融合；利用三维卷积神经网络进行最终的特征提取，从而得到最终的体素级别语义分割结果。

技术领域

本发明涉及一种应用于计算机视觉领域的新型三维语义分割方法，属于虚拟现实技术领域。

背景技术

目前利用深度学习实现的语义分割方法，主要分为基于RGB图像的二维分割与针对点云基于三维模型的语义分割。

基于二维RGB图像处理的准确率较高，但是由于二维单目相机尺度的不确定性，二维图像先天性地缺少了相关物体的深度信息，而且二维RGB图像易受到光照条件等因素的影响，使得整体分割方法具有较为明显的局限性，难以充分综合利用图像的各方面特征信息。

现在较为流行的三维语义分割方法，基于点云处理时的噪声较大、且点云具有无序性以及旋转不确定性等缺点，使得相关的点云语义分割方法虽然能一定程度上利用了空间深度信息，但是语义分割的效果仍然不尽如人意，无法满足多层次的VR、AR应用的需求，无法向VR、AR设备提供足够的场景交互支持。

当前较为常见的基于深度相机的三维重建技术，在三维重建后仅生成了场景的mesh模型而缺少相应的场景语义信息，使得用户与场景的交互受限。同时，三维重建技术中所生成的场景模型却存储于TSDF体素模型中，此类针对体素级语义分割方法的缺失，直接造成了现有三维重建模型的语义分割障碍。

有鉴于此，特提出本专利申请。

发明内容

本发明所述基于体素模型与颜色信息耦合的三维语义分割方法，其目的在于解决上述现有技术存在的问题而基于三维CNN网络提取三维TSDF体素信息，结合三维重建过程中采集到的RGB图像，通过通道信息融合策略而直接实现端到端的三维语义分割，从而实现为三维重建技术之后的相关AR应用提供有力支持。

为实现上述发明目的，本申请所述的三维语义分割方法，主要采取三维卷积神经网络与二维卷积神经网络相耦合的方式，由三维卷积神经网络处理三维TSDF体素信息，由二维卷积神经网络处理二维的RGB图像信息，利用attention机制将二维与三维通道的信息融合并提取有效特征。并且，在二维通道中，对多视角下的RGB特征进行加权融合，以提高了多层次信息的利用率。

基于体素模型与颜色信息耦合的三维语义分割方法主要包括有以下实施阶段：

1)、二维RGB图像处理阶段

针对于多个视角下的RGB图像，将多视角下的RGB图像送入backbone网络中，提取高维度图像二维特征信息；

获得当前帧映射到世界坐标系下的相机姿态信息；

利用RGB通道选择模块对于不同视角下的RGB二维特征赋予不同的权重；

2)、三维TSDF体素模型处理阶段

首先，进行前端三维模型重建；

其次，采取符号距离函数对整个TSDF体素模型进行计算；

然后，使用残差模块初步提取三维特征；

将处理后的TSDF体素模型数据与上述经过RGB通道选择模块提取后的特征，均利用残差模块进行处理，以初步提取其相关的三维特征；

3)、双通道信息融合及三维信息处理阶段

对于二维及三维信息进行融合；