[发明专利]面向动态手术路径引导的引导型三维虚拟夹具生成方法

说明书

本发明提供一种面向动态手术路径引导的引导型三维虚拟夹具生成方法、系统、存储介质和电子设备，涉及虚拟夹具技术领域。本发明中，通过关键点的位置确定局部区域，对局部区域进行追踪，来减少三维关键点的错误追踪；结合内窥镜图像的纹理信息和形状信息，一定程度上避免体内环境特征的不明显带来的影响；在降维后的点云上通过构造优化函数对三维关键点进行精确定位，避免了不同视角下造成的曲线形状不一致性。更进一步的，沿着跟踪得到的三维曲线，建立包含引力与粘滞阻力的虚拟力场，即引导型虚拟夹具，所述引导型虚拟夹具通过力反馈机制精准引导手术器械的移动轨迹。

技术领域

本发明涉及虚拟夹具技术领域，具体涉及一种面向动态手术路径引导的引导型三维虚拟夹具生成方法、系统、存储介质和电子设备。

背景技术

自主手术机器人远程手术的出现，解决了医疗资源分布不均的问题，通过跟踪三维关键点，进而跟踪手术路径，可以提高远程手术指导的质量和手术机器人自主操作的能力。

其中，虚拟夹具常以力交互的形式应用于体内手术场景，以解决非周期性运动的手术器械控制问题，如手术过程中器官的保护、目标的引导、避障的约束等，从而保障手术过程的安全精准。

由于现有技术中，术前规划的手术路径不能在术中进行实时更新，使得主刀医生对术前规划的手术路径在手术过程中难以找到对应位置，对术中手术路径发生的偏移无法视觉上直观加以判断，加大了主刀医生操控机器人的难度。这也直接影响了虚拟夹具，尤其是引导型虚拟夹具无法实现对手术三维路径的精准引导。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种面向动态手术路径引导的引导型三维虚拟夹具生成方法、系统、存储介质和电子设备，解决了无法实现对手术三维路径的精准引导的技术问题。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

一种面向动态手术路径引导的引导型三维虚拟夹具生成方法，包括：

S1、读取内窥镜图像，根据医生的选择获取当前帧图像上的手术路径曲线，并获取该手术路径曲线经过的若干第一二维关键点；

S2、跟踪当前帧图像上包含第一二维关键点的第一局部区域，获取下一帧图像上的第二局部区域；

S3、根据内窥镜图像与点云之间的映射关系，分别将第一局部区域映射到第一局部点云上、第二局部区域映射到第二局部点云上；并确定第一二维关键点在第一局部点云上的第一三维关键点，通过坐标变换得到第二局部点云上的第二三维关键点；

S4、将第一局部点云进行降维，获取第一二维点云，并获取第一三维关键点在第一二维点云上的第二二维关键点；

将第二局部点云进行降维，获取第二二维点云，并获取第二三维关键点在第二二维点云上的第三二维关键点；

根据第二二维关键点和第三二维关键点，通过最小化预设的优化函数，获取跟踪得到的关键点在二维点云上的二维坐标；

S5、根据降维前后点云之间的映射关系，获取每一个跟踪得到的关键点的三维坐标，并进行曲线拟合，最终跟踪得到三维曲线；

S6、沿着跟踪得到的三维曲线，建立引导型虚拟夹具，所述引导型虚拟夹具通过力反馈机制引导手术器械的移动轨迹。

优选的，所述S6具体包括：

S61、将手术器械实时的三维位置信息、以及前述步骤获取的点云转换到同一坐标系下，获取三维曲线上离手术器械末端p_ins最近的点p_nearest，以及两点之间的相对距离x_d；