[发明专利]基于增强现实的一体式手术导航方法、系统和存储介质

说明书

本发明提供了基于增强现实的一体式手术导航方法、系统和存储介质，其方法包括：根据患者的影像扫描数据，生成对应的虚拟3D器官模型影像；虚拟3D器官模型影像包括预设手术方案对应的指引图形；通过终端设备的双目红外摄像头拍摄获取定位追踪图像；通过终端设备的可见光摄像头拍摄获取术区真实影像；根据定位追踪图像中的至少三个红外反光球，计算得到目标器官与终端设备之间的相对位置矩阵；根据相对位置矩阵，将术区真实影像、虚拟3D器官模型影像及其指引图形生成并显示虚拟现实融合图像。本发明实现手术导航辅助，避免了术者视野注意力的反复中断和切换，可方便术者看着手术方案高效、便捷、准确进行手术。

技术领域

本发明涉及图像处理技术领域，尤指基于增强现实的一体式手术导航方法、系统和存储介质。

背景技术

随着计算机技术的发展，计算机辅助手术模拟和辅助设计在外科治疗中的重要作用已被广泛认可。术前在计算机软件中制定最佳的手术方案，术中依照术前设计准确进行手术，可以大大提高手术效果，同时减少手术风险。

外科导航技术是一种帮助手术医生术中准确按照虚拟手术方案实施手术的方法，已被广泛应用于神经外科、颌面外科、脊柱外科等领域。导航系统通过确定手术器械与患者实体的相对空间位置，对手术医生进行术中指导。

但在临床应用中，可以发现目前使用的传统外科导航技术存在许多不足：

1、最常使用的导航探针是手术医生与导航系统进行交互的唯一方式。术者基本只能通过探针对某一点进行定位与手术方案进行联系。但这种点定位的方法，往往不能对手术医生提供足够有效的指导帮助，如对复杂形态物体的定位等，因此，传统外科导航技术无法向手术医生呈现完整的手术方案。

2、传统外科导航技术一般通过显示器进行信息输出，但是手术医生需要反复在术区视野和显示器之间进行切换，以获得导航辅助，这一方式严重影响了手术操作的连贯性和术者注意力的集中。

发明内容

本发明的目的是提供基于增强现实的一体式手术导航方法、系统和存储介质，解决了无法准确定位，手术操作不连贯以及术者注意力无法集中的技术问题。

本发明提供的技术方案如下：

本发明提供一种基于增强现实的一体式手术导航方法，包括步骤：

根据患者的影像扫描数据，生成对应的虚拟3D器官模型影像；所述虚拟3D器官模型影像包括预设手术方案对应的指引图形；

通过终端设备的双目红外摄像头拍摄获取定位追踪图像；所述定位追踪图像包括目标器官以及通过安装支架设置在所述目标器官上的至少三个红外反光球；所述至少三个红外反光球不位于同一直线上；

通过所述终端设备的可见光摄像头拍摄获取术区真实影像；所述术区真实影像包括术区范围内的环境和所述目标器官；所述可见光摄像头和所述双目红外摄像头设置在所述终端设备的同侧；

根据所述定位追踪图像中的所述至少三个红外反光球，计算得到所述目标器官与所述终端设备之间的相对位置矩阵；

根据所述相对位置矩阵，将所述术区真实影像、所述虚拟3D器官模型影像及其指引图形生成并显示虚拟现实融合图像。

进一步的，通过终端设备的双目红外摄像头拍摄获取定位追踪图像之前包括步骤：

通过标定获取所述双目红外摄像头的相机内参。

进一步的，所述根据所述定位追踪图像中的所述至少三个红外反光球，计算得到所述目标器官与所述终端设备之间的相对位置矩阵包括步骤：

对所述定位追踪图像进行灰度处理得到灰度图像；

根据所述灰度图像中各像素点的深度信息，查找出所述至少三个红外反光球分别对应的目标区域；