[发明专利]移动目标追踪系统及混合现实手术辅助系统

说明书

本发明涉及临床用手术导航领域，具体地说，涉及识别并追踪类似手术器械这种移动目标追踪系统和基于移动目标追踪的混合现实手术辅助系统。它的组成包括视频采集模块，特征点选取模块，图像处理模块，目标检测模块，数据处理模块，控制模块，跟踪模块和显示模块；基于移动目标追踪的混合现实手术辅助系统，包括显示模块为MR智能设备的移动目标追踪系统，所述MR智能设备包含轨迹标注模块，所述移动目标追踪系统的视频采集模块在进行包含追踪目标的视频采集前分别与MR智能设备、目标物体做初始高度和初始位置标定。本发明能够提前判断手术器械作用点的操作效果，有助于精准选取手术器械在病灶处的最佳实施点，缩短手术时间，提高手术成功率。

技术领域

本发明涉及临床用手术导航领域，具体地说，涉及识别并追踪类似手术器械这种移动目标追踪系统和基于移动目标追踪的混合现实手术辅助系统。

背景技术

现有基于混合现实技术的手术辅助系统，采用的技术方案：一是，将患者病灶处三维模型导入MR眼镜，并将MR眼镜里的三维模型与患者匹配，医生通过观看MR眼镜里的三维模型,查看人体病灶器官处的血管、病变组织形态结构，便于医生在手术操作中避开血管等不可碰组织，快速找到病变位置，这种方法为临床手术操作仅提供了可视化、透视化所带来的视觉指导。

二是，通过在手术器械上安装感应装置，再通过能够获取该感应装置信号的物体捕捉安装感应装置的手术器械的实时位置，再将手术器械的实时位置与医生佩戴的MR眼镜里的手术器械三维模型建立关联，从而观察手术器械作用在病灶处的轨迹，为临床手术提供术中指导，这种方法对于精确执行手术方案，并直观看到手术器械在人体器官内的位移轨迹，判断手术器械作用在病灶处所产生的实际效果，具有更为有效的指导意义，但该方法还存下以下几点问题：

1、医院采用的常规的手术器械都是现有的通用设计，再加上很多器材形状设计的特殊性，会使感应装置的安装受到位置的限制，特别是想要追踪手术器械的某个具体位置的运动轨迹，也会很难实现。同时，感应装置的安装还会影响医生操作手感；

2、手术过程本身具有不可预计性和随机性，医生对手术器械的操作方式，因人使用习惯而不同，非常容易出现由于感应装置被遮挡，脱落导致等原因，导致获取感应装置信号的物体不能按预期获取到感应信号，会出现手术器械追踪过程中断，追踪轨迹与实际位移轨迹有位置偏差或出现失真不准确的问题；

3、由于手术的复杂性，在手术器械上安装感应装置会让本来就很复杂的手术准备工作变得更加繁琐。

对于追踪术中的手术器械来说，属于对移动物体的追踪，基于上述方法在应用方面所受到的局限和出现的问题，本发明通过追踪包含移动目标即手术器械的视频，实现手术器械的追踪，从而为临床手术提供精准术中导航。

对视频中移动物体的追踪主要包含两个方面，目标检测和目标追踪，同时还会出现手术器械被遮挡、位移角度和速度的随机性大、运动幅度较大，甚至移出视频区域等问题。因此，我们选择跟踪-学习-检测（TLD追踪算法）算法，它是一种单目标长时间跟踪算法，通过检测、跟踪和学习三个模块相结合的方式进行在线跟踪，在追踪目标姿态发生改变、目标大小以及角度变化、目标发生部分遮挡或目标消失后重现时仍能准确追踪到目标的位置，并可以满足长时间跟踪的需要。但该算法对追踪目标的外观的变化较为敏感，且容易跟踪到与目标相似的物体上，不适合复杂的背景环境，该算法选取追踪目标特征值的方法很难将追踪目标从复杂的背景环境中分割出来，尤其是在复杂的背景环境下追踪快速移动的物体或外形比较模糊，与复杂的背景环境相似度较高，不易分割，尺寸偏小的目标物体，这会直接影响跟踪模块跟踪目标的时效性、准确性和稳定性。

同时，我们还要将这种追踪包含移动目标视频的方法追踪目标物体的运动轨迹同基于MR混合现实技术的手术辅助系统相融合，实现追踪目标的三维模型与追踪目标实体实时同步的技术效果，为手术方案的精确执行和手术操作效果的判断提供导航支持。

发明内容