[发明专利]基于增强现实的一体式手术导航方法、系统和存储介质

权利要求书

1.一种基于增强现实的一体式手术导航方法，其特征在于，包括步骤：

根据患者的影像扫描数据，生成对应的虚拟3D器官模型影像；所述虚拟3D器官模型影像包括预设手术方案对应的指引图形；

通过终端设备的双目红外摄像头拍摄获取定位追踪图像；所述定位追踪图像包括目标器官以及通过安装支架设置在所述目标器官上的至少三个红外反光球；所述至少三个红外反光球不位于同一直线上；

通过所述终端设备的可见光摄像头拍摄获取术区真实影像；所述术区真实影像包括术区范围内的环境和所述目标器官；所述可见光摄像头和所述双目红外摄像头设置在所述终端设备的同侧；

根据所述定位追踪图像中的所述至少三个红外反光球，计算得到所述目标器官与所述终端设备之间的相对位置矩阵；

根据所述相对位置矩阵，将所述术区真实影像、所述虚拟3D器官模型影像及其指引图形生成并显示虚拟现实融合图像。

2.根据权利要求1所述的基于增强现实的一体式手术导航方法，其特征在于，通过终端设备的双目红外摄像头拍摄获取定位追踪图像之前包括步骤：

通过标定获取所述双目红外摄像头的相机内参。

3.根据权利要求2所述的基于增强现实的一体式手术导航方法，其特征在于，所述根据所述定位追踪图像中的所述至少三个红外反光球，计算得到所述目标器官与所述终端设备之间的相对位置矩阵包括步骤：

对所述定位追踪图像进行灰度处理得到灰度图像；

根据所述灰度图像中各像素点的深度信息，查找出所述至少三个红外反光球分别对应的目标区域；

根据所述目标区域对应的深度信息和所述相机内参，计算得到所述目标器官相对于所述双目红外摄像头之间的相对位置矩阵。

4.根据权利要求1-3任一项所述的基于增强现实的一体式手术导航方法，其特征在于，所述根据所述相对位置矩阵，将所述术区真实影像、所述虚拟3D器官模型影像及其指引图形生成并显示虚拟现实融合图像包括步骤：

根据预先在所述目标器官上选取的参考注册点和所述定位追踪图像进行配准；

根据所述相对位置矩阵、所述术区实际图像中目标器官的像素坐标，将所述虚拟3D器官模型影像、指引图形叠加在所述术区真实影像，生成对应的虚拟现实融合图像，并通过设置在所述终端设备上且位于所述可见光摄像头对立侧的显示屏进行显示。

5.一种基于增强现实的一体式手术导航系统，其特征在于，包括：

上位机，用于根据患者的影像扫描数据，生成对应的虚拟3D器官模型影像；所述虚拟3D器官模型影像包括预设手术方案对应的指引图形；

双目红外摄像头，安装于终端设备处，用于拍摄获取定位追踪图像；所述定位追踪图像包括目标器官以及通过安装支架设置在所述目标器官上的至少三个红外反光球；所述至少三个红外反光球不位于同一直线上；

可见光摄像头，安装于终端设备处，用于拍摄获取术区真实影像；所述术区真实影像包括术区范围内的环境和所述目标器官；

所述终端设备，用于根据所述定位追踪图像中的所述至少三个红外反光球，计算得到所述目标器官与所述终端设备之间的相对位置矩阵，根据所述相对位置矩阵，将所述术区真实影像、所述虚拟3D器官模型影像及其指引图形生成并显示虚拟现实融合图像；

其中，所述可见光摄像头和所述双目红外摄像头设置在所述终端设备的同侧。

6.根据权利要求5所述的基于增强现实的一体式手术导航系统，其特征在于，所述终端设备还包括：

标定模块，用于通过标定获取所述双目红外摄像头的相机内参。

7.根据权利要求6所述的基于增强现实的一体式手术导航系统，其特征在于，所述终端设备还包括：

图像处理模块，用于对所述定位追踪图像进行灰度处理得到灰度图像；

图像识别模块，用于根据所述灰度图像中各像素点的深度信息，查找出所述至少三个红外反光球分别对应的目标区域；

计算模块，用于根据所述目标区域对应的深度信息和所述相机内参，计算得到所述目标器官相对于所述双目红外摄像头之间的相对位置矩阵。