[发明专利]一种基于二维特征点的双目内窥图像三维拼接方法

说明书

本发明公开了一种基于二维特征点的双目内窥图像三维拼接方法，该方法包括点云生成、点云预处理、二维特征点匹配、点云配准等步骤，移动双目内窥镜获取各视角的左右图序列后，通过SGBM(Semi‑global block matching)进行双目匹配生成点云，并进行离群点剔除和降采样等预处理，对相邻左视图采用SURF（Speeded Up Robust Features）算法进行二维特征匹配，计算两个视点偏移量，改变初始矩阵平移矩阵，通过ICP（Iterative Closest Point）算法对点云进行配准和拼接，本方法实现了对纹理特征不明显的内窥图像的三维重建，扩大了视场，同时利用双目图像获得稠密点云，重建精度高，能更好地协助医生手术操作。

技术领域

本发明涉及内窥镜技术领域，具体涉及一种基于二维特征点的双目内窥图像三维拼接方法。

背景技术

内窥镜能够帮助医生观察到胃肠道中的真实场景，在临床诊断和治疗上具有广泛的应用。双目内窥镜能够提供三维信息，辅助医生进行深度感知，从而提高手术效率和安全性。为了给内窥镜医师提供准确的三维信息，国内外研究人员尝试对内窥镜图像进行三维重建以获得目标表面的三维形态。

常见的三维重建方法如SfS(阴影恢复结构)，只能对单个视场进行重建，视野的局限性将会影响医生的观察，容易造成误差。虽然SLAM(同时定位与地图构建)和SfM(运动恢复结构)等方法也能扩大视场，但由于此类方法只能进行稀疏重建，生成的稀疏点云精度较差，无法满足三维重建细节观察的要求。

点云配准是立体视觉三维重建常用的方法，如随机一致性采样(RANSAC)是根据提取点云三维特征进行匹配的算法，胃肠道在正常情况下表面较为光滑，其纹理特征不足以通过RANSAC进行特征匹配。目前应用最为广泛的点云配准方法——ICP，通过不断地重复搜索以获取最优的变换矩阵。虽然其容易理解、拼接效果理想，但过于依赖初始矩阵，不仅容易陷入局部最优解，而且需要巨大的计算资源。

发明内容

针对现有技术的不足，本发明提出了一种基于二维特征点的双目内窥图像三维拼接方法，实现对整个胃器官的稠密三维重建。

一种基于二维特征点的双目内窥图像三维拼接方法，该方法通过左右视图双目匹配生成点云，并进行预处理；计算左视图序列相邻位点的二维特征点偏移量作为点云配准的初始变换矩阵平移向量，从而实现内窥图像的三维拼接，该方法具体包括如下步骤：

S1.内窥镜左右视图序列获取：即移动双目内窥镜的镜头，拍摄目标器官左右视图序列；

S2.点云生成：即使用SGBM算法对左右视图进行双目匹配生成视差图，通过自适应阈值对视差图进行迭代均值插值，去除空洞，根据视差图生成相应的点云；

S3.点云预处理：即对初始点云进行离群点剔除、点云分割、降采样预处理操作；

S4.相邻左视图二维特征匹配：即对左视图序列相邻位点进行SURF二维特征匹配，根据匹配点在相邻两位点的平均变化值作为偏移量并生成变换矩阵；

S5.点云配准：即以二维特征匹配生成的变换矩阵作为点云序列的初始变化矩阵，进行ICP的配准。

作为优选，所述的步骤S2具体为：

对左视图和右视图通过SGBM算法进行双目匹配；

将视差值从小到大排列，设定前10％处值为阈值，即小于此视差值的点为空洞；

对于空洞，计算其周围3*3矩阵的平均值作为其新的视差值；

迭代上述操作。

作为优选，所述的步骤S3具体为：

采用半径式离群点剔除法，剔除初始点云中固定半径的球体范围内几乎没有邻域点的点；