[发明专利]基于多尺度置信度和自注意机制的肠道环境深度补全方法

说明书

基于多尺度置信度和自注意机制的肠道环境深度补全方法，属于计算机视觉和人工智能技术领域。本方法中，构建多尺度置信度神经网络，挖掘稀疏深度数据中潜在的几何特征，通过将有效的深度像素值扩散到相邻像素点来填补稀疏深度图中的空洞，获得像素分布均衡的完整稠密的深度特征图，有利于和对应和RGB图像进行跨模态融合；接着，将深度特征图及置信度图输入到深度补全网络，在对应RGB图像的指导下融合跨模态特征进行深度补全；最后，融合的多模态特征通过设计的基于自注意机制的结构感知模块，进一步增强图像和深度数据中的几何和纹理特征，提高深度补全的精度。

技术领域

本发明属于计算机视觉和人工智能技术领域，具体涉及基于多尺度置信度和自注意机制的肠道环境深度补全方法。

背景技术

一般情况下，医生只能进行有限的单向肠道内窥镜检查，在检查中，即使是携带深度传感器的最先进的外科机器人，也只能提供稀疏的不完整的深度信息。然而密集、准确和即时的肠道深度估计对于医生判断肠道组织的三维位置和形状至关重要，否则会严重影响医生和手术机器人之间的人机交互，例如医生后续对探针的移动和操作。

随着大量数据集的出现和深度学习算法的不断发展，基于深度学习的深度估计方法蓬勃发展，该方法主要通过设计的深度神经网络模型，将数据输入网络进行训练，并使用训练好的模型预测稠密深度图。

深度估计模型基本上可以分为两类。第一类是深度回归模型，这类方法直接在输入的RGB图像上进行特征提取和深度回归，以获得密集的深度预测。深度回归方法最近已应用于体内环境，然而，由于内腔环境中存在强烈的光照变化和微弱的纹理特征，因此生成的深度图在很大程度上是由数据驱动的，在精度和泛化性方面仍然。由于缺乏利用环境几何特征，生成的深度图存在尺模糊性。第二类深度估计方法是深度补全方法，这类方法通过结合亮度图像和来自SFM(Structure From Motion)/SLAM(Simultaneous Localization AndMapping)算法或深度传感器的稀疏深度信息来重建深度图。然而，大多数方法只是简单地进行图像和深度图串联，并没有深入探索跨模态特征深度融合对深度估计的促进作用。此外，目前大多数方法都是针对室内和室外人类活动场景设计的；还没有针对肠道甚至其他体腔环境设计的深度补全方法。

发明内容

针对现有方法中尺度模糊、跨模态融合方式简单粗暴、肠道环境和人类活动场景存在显著差异的局限，本发明的目的在于提供一种基于深度学习的肠道环境稠密深度估计方法，利用内窥镜图像和稀疏深度测量数据的进行肠道环境深度补全。

本发明提供如下技术方案：

基于多尺度置信度和自注意机制的肠道环境深度补全方法，包括以下步骤：

S1、构建多尺度置信度神经网络，挖掘稀疏深度数据中潜在的几何特征，通过将有效的深度像素值扩散到相邻像素点来填补稀疏深度图中的空洞，获得像素分布均衡的完整稠密的深度特征图和置信度图，有利于和对应的RGB图像进行跨模态融合；

S2、构建深度补全网络，将深度特征图及置信度图输入到深度补全网络，在对应RGB图像的指导下融合跨模态特征进行深度补全；

S3、在深度补全网络中构建基于自注意力机制的结构感知模块，融合的多模态特征采用结构感知模块，进一步增强图像和深度数据中的几何和纹理特征，提高深度补全的精度。

进一步的，所述步骤S1中构建的多尺度置信度神经网络采用编码-解码结构，将传统的编码解码框架中的标准卷积层替换为归一化卷积层；基于置信度信号理论，归一化卷积可以利用有效像素表示其邻域像素，从而实现像素扩散和致密化。

进一步的，所述归一化卷积层的作用流程如下：

1)归一化卷积层同时接受两个输入，即稀疏深度图及其对应的置信度图，其生成估计的深度值的过程如公式(1)所示：