[发明专利]一种腹腔镜手术中视频与术前模型融合显示的方法及装置

说明书

本发明公开了一种腹腔镜手术中视频与术前模型融合显示的方法及装置，该方法包括获取腹腔镜手术中视频，确定出器官的腹腔镜增强图像，将所述器官的腹腔镜增强图像输入到训练好的神经网络模型中，得到器官的边缘点集，将器官的边缘点集与所述器官的边缘点集信息库中的边缘点进行匹配，得到变换矩阵，根据变换矩阵，将器官的边缘点集对应的术前三维模型映射到腹腔镜手术中视频中进行显示。将通过神经网络模型提取的手术中器官的当前轮廓与手术前生成的边缘点集信息库中的轮廓逐一比对，找到相似度最大的轮廓，实现边缘点匹配得到变换矩阵，从而根据变换矩阵将三维模型附着到当前腹腔镜视频中进行显示，提高术前重建数据与术中视频图像的匹配精度。

技术领域

本发明涉及医疗技术领域，尤其涉及一种腹腔镜手术中视频与术前模型融合显示的方法及装置。

背景技术

在过去的几十年里，微创手术(Minimally Invasive Surgery，MIS)因为具有切口小、痛苦小、恢复快、疤痕小等优点已经逐渐变得比开放手术更受欢迎，但因其视野小、操作空间小等特点，对外科医生的经验性提出了更大的挑战。基于增强现实技术(AugmentedReality，AR)的手术导航系统能够使医生同时对真实环境中的术中手术目标和术前病人影像序列中提取的三维模型进行观察，满足了医生对真实环境进行细致观察和通过术前知识引导手术的需求，该技术已经或多或少的成功引入微创手术的各个学科。

目前原发性肝癌的治疗方法仍以外科手术为主，然而最近几年腹腔镜肝切除手术的数量迅速增长。腹腔镜肝切除术属于微创手术的一种，手术中腹腔图像通过光纤传导并显示在专用显示屏上，医生通过显示屏上所显示的患病器官不同角度图像，操控手术器械进行手术。

腹腔镜手术的适应症虽然越来越广泛，接受程度也越来越高，快速成为当前手术的发展趋势，但是由于其特殊的手术方式，存在若干问题：1、其视野狭小，深度感知信息丢失，导致判断手术器械与器官相对深度关系困难。2、借助器械的间接手术操作使医生得不到直观的表面触感及力学反馈，对于用力判断以及组织力学特性难以判断，不能通过触觉感知肿瘤位置。近几年发展迅速的增强现实技术可以将基于术前医学影像重建的模型数据与术中腹腔镜视频图像进行融合显示，帮助医生更加精准度完成腹腔镜手术，有效解决上述列举问题。

但是目前的腹腔镜增强现实导航技术在进行腹腔镜图像特征提取时，主要是提取腹腔镜视野中可见的少量人工标定或通过视觉SLAM的方式重建视频中的稀疏点云，但是在具体实现过程中都无法准确的提取到特征，因此亟需解决腹腔镜图像的特征提取的问题。

发明内容

本发明实施例提供一种腹腔镜手术中视频与术前模型融合显示的方法及装置，用以提高器官的边缘轮廓的提取精度和边缘点的匹配精度，以帮助医生更加精准完成腹腔镜手术。

第一方面，本发明实施例提供一种腹腔镜手术中视频与术前模型融合显示的方法，包括：

获取腹腔镜手术中视频，确定出器官的腹腔镜增强图像；

将所述器官的腹腔镜增强图像输入到训练好的神经网络模型中，得到所述器官的边缘点集；所述训练好的神经网络模型是使用标注有器官边缘轮廓的腹腔镜视频图像对预设的神经网络模型进行训练学习得到的；

将所述器官的边缘点集与所述器官的边缘点集信息库中的边缘点进行匹配，得到变换矩阵；所述器官的边缘点集信息库是根据所述器官的术前三维影像得到的；

根据所述变换矩阵，将所述器官的边缘点集对应的术前三维模型映射到腹腔镜手术中视频中进行显示。

上述技术方案中，将通过神经网络模型提取的手术中器官的当前轮廓与手术前生成的边缘点集信息库中的轮廓进行逐一比对，找到相似度最大的轮廓，实现边缘点匹配得到变换矩阵，从而根据变换矩阵将三维模型附着到当前腹腔镜视频中进行显示，可以提高术前重建数据与术中视频图像的匹配精度，帮助医生更加精准完成腹腔镜手术，缩短手术干预时间，降低并发症的风险。同时可以减少医生在手术中的认知负荷，提高医生的注意力和效率。