[发明专利]内窥镜图像深度估计方法及装置

说明书

内窥镜图像深度估计方法及装置，可以有效地从原始内窥镜图像中估计出初始深度图，有效地改善了初始深度图相干边界信息的表达，进一步优化内镜深度估计的深度估计，解决边界信息模糊、视觉远点深度缺失、深度变化层次不明显的问题。方法包括：(1)采集临床手术内窥镜图像数据，获得基于非线性滤波与显著性像素分布的高光区域，通过遍历原始内窥镜图像得到高光区域；(2)根据检测的内窥镜高光区域，采用近光辐射模型和光源距离衰减，对该区域进行图像补全，得到初始深度估计图；(3)通过非线性滤波对初始深度图进行多尺度分解，融合多尺度残差与颜色空间强度，获得内窥镜图像深度估计信息。

技术领域

本发明涉及计算机视觉的技术领域，尤其涉及一种内窥镜图像深度估计方法，以及内窥镜图像深度估计装置。

背景技术

近年来，随着计算机视觉研究方向的延伸，内窥镜图像深度估计在病灶检测、手术器械跟踪、三维重建中应用广泛，它可以反馈内窥镜内部环境信息，从而确保手术成功协助医生进行，而且也成为了计算机视觉领域实现价值提升的有效途径。因此，内窥镜图像的深度估计技术成为获取物体表面形态的关键技术。然而，由于临床手术中操作环境的复杂性，手术操作空间的限制和内窥镜设备差异，导致获取的内窥镜图像质量差异较大。

微创手术场景完全依附内窥镜自带光源提供照明，由于尺寸的限制，临床内镜只能使用单目内窥镜。相机和光源距离物体表面较近，对于物体表面上的不同点，照明的入射方向不能认为是平行的。在临床手术中，由于冷光源和摄像机不断移动，不能满足手术过程中光源的恒常性。目前，广泛运用的图像深度估计方法边界信息模糊，视觉远点深度缺失，且深度变化层次不明显，这些限制因素都将严重影响后续的视觉应用。

发明内容

为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种内窥镜图像深度估计方法，其可以有效地从原始内窥镜图像中估计出初始深度图，有效地改善了初始深度图相干边界信息的表达，进一步优化内镜深度估计的深度估计，为内窥镜图像深度估计、病灶检测、三维重建等应用提供了特征提取的新思路，解决了当前内窥镜图像深度估计中边界信息模糊、视觉远点深度缺失、深度变化层次不明显的问题。

本发明的技术方案是：这种内窥镜图像深度估计方法，其包括以下步骤：

(1)采集临床手术内窥镜图像数据，获得基于非线性滤波与显著性像素分布的高光区域，通过遍历原始内窥镜图像得到高光区域；

(2)根据检测的内窥镜高光区域，采用近光辐射模型和光源距离衰减，对该区域进行图像补全，得到初始深度估计图；

(3)通过非线性滤波对初始深度图进行多尺度分解，融合多尺度残差与颜色空间强度，获得内窥镜图像深度估计信息。

本发明基于临床手术中获取的内窥镜图像，根据内窥镜环境和光源的辐射特性，定义了一种自适应镜面反射去除方法。利用颜色空间信息约束，可以有效地从原始内窥镜图像中估计出初始深度图。然后，利用多尺度分解恢复初始深度图局部区域的深度梯度细节，有效地改善了初始深度图相干边界信息的表达。最后，将图像的深度信息转化为多尺度分解残差的融合。该过程可以进一步优化内镜深度估计的深度估计。本发明为内窥镜图像深度估计、病灶检测、三维重建等应用提供了特征提取的新思路。解决了当前内窥镜图像深度估计中边界信息模糊，视觉远点深度缺失，深度变化层次不明显的问题。

还提供了内窥镜图像深度估计装置，其包括：

高光区域提取模块，其配置来采集临床手术内窥镜图像数据，获得基于非线性滤波与显著性像素分布的高光区域，通过遍历原始内窥镜图像得到高光区域；

补全模块，其配置来根据检测的内窥镜高光区域，采用近光辐射模型和光源距离衰减，对该区域进行图像补全，得到初始深度估计

图；

分解融合模块，其配置来通过非线性滤波对初始深度图进行多尺度分解，融合多尺度残差与颜色空间强度，获得内窥镜图像深度估计信息。