[发明专利]腹腔镜增强现实手术导航方法、装置及电子设备

说明书

本申请提供一种腹腔镜增强现实手术导航方法、装置及电子设备。包括：获取目标组织器官的术前三维模型，术前三维模型包括术前三维点云；根据术中腹腔镜实时采集的腹腔镜的视频信息和腹腔镜上设置的惯性传感器实时采集的腹腔镜的姿态信息，获取目标组织器官的术中三维点云和腹腔镜的旋转矩阵与平移矩阵；对目标组织器官的术前三维点云和术中三维点云进行配准，得到术前三维点云的旋转矩阵与平移矩阵；通过腹腔镜的旋转矩阵与平移矩阵和术前三维点云的旋转矩阵与平移矩阵将目标组织器官的术前三维模型通过增强显示技术叠加显示在当前视图的腹腔镜图像上。可降低图像质量不佳造成SLAM系统对腹腔镜的实时位姿和术中三维点云解算出现误差的概率。

技术领域

本申请涉及微创外科技术领域，尤其涉及一种腹腔镜增强现实手术导航方法、装置及电子设备。

背景技术

目前，外科手术整体趋势向着微创化、机器人化以及精准化发展，作为微创手术的腹腔镜手术在胆囊切除、迷走神经肝切除、肾切除等手术中已经成为常规术式。腹腔镜手术中用于进入体腔内的相机由于设备大小及仪器受限，可视范围受限，同时，实际术中由于多种原因，如：巨大的病灶、历史手术引起的解剖错位以及医生经验欠缺等，使得医生对手术关键结构辨认困难，对手术的质量及病人的安全是巨大隐患。增强现实手术导航可以有效缓解医生术中感知有限和对关键结构辨认困难的问题，为医生提供手术引导。

利用腹腔镜进行增强现实显示的关键技术是视觉同步定位和构图(SimultaneousLocalizationandMapping，SLAM)技术，但是，视觉SLAM非常依赖图像的成像质量，在图像质量不佳的情况下难以正常工作，腹腔镜场景下，随时可能出现光照、纹理质量的变化，以及相机的快速运动带来的图像模糊，都会使得相机拍摄的图像质量不佳，而图像质量不佳会造成SLAM系统对腹腔镜的实时位姿和术中三维点云解算出现误差，进而导致增强现实手术导航的准确性差。

发明内容

本申请提供一种腹腔镜增强现实手术导航方法、装置及电子设备，以解决图像质量不佳造成SLAM系统对腹腔镜的实时位姿和术中三维点云解算出现误差的问题。

第一方面，本申请提供一种腹腔镜增强现实手术导航方法，包括：

获取目标组织器官的术前三维模型，所述术前三维模型包括术前三维点云；

根据术中腹腔镜实时采集的腹腔镜的视频信息和腹腔镜上设置的惯性传感器实时采集的腹腔镜的姿态信息，获取所述目标组织器官的术中三维点云和腹腔镜的旋转矩阵与平移矩阵；

对所述目标组织器官的术前三维点云和术中三维点云进行配准，得到所述术前三维点云的旋转矩阵与平移矩阵；

通过所述腹腔镜的旋转矩阵与平移矩阵和所述术前三维点云的旋转矩阵与平移矩阵将所述目标组织器官的术前三维模型通过增强显示技术叠加显示在当前视图的腹腔镜图像上。

可选的，所述根据术中腹腔镜实时采集的腹腔镜视频信息和腹腔镜上设置的惯性传感器实时采集的腹腔镜姿态信息，获取所述目标组织器官的术中三维点云和腹腔镜的旋转矩阵与平移矩阵，包括：

将所述腹腔镜的视频信息和所述腹腔镜的姿态信息输入到视觉同步定位和构图系统中，用于所述视觉同步定位和构图系统进行处理；

接收所述视觉同步定位和构图系统输出的所述目标组织器官的术中三维点云和腹腔镜的旋转矩阵与平移矩阵。

可选的，所述对所述目标组织器官的术前三维点云和术中三维点云进行配准，得到所述术前三维点云的旋转矩阵与平移矩阵，包括：

S1、在所述术中三维点云中采集预设个数的点集P_i；

S2、确定出所述术前三维点云中的点集Q_i，点集Q_i满足点集P_i和点集Q_i的欧式距离最小；