[发明专利]基于自适应角点单应估计的增强现实标定方法及装置

说明书

基于自适应角点单应估计的增强现实标定方法与装置，方法包括：(1)利用线段形态约束算法识别跟踪标记的2D关键角点坐标；(2)获取CT影像，并进行颅颌面器官的分割和三维重建；(3)利用三维扫描仪获取双向跟踪标记与器官的三维模型；(4)基于跟踪标记的模板对上述扫描模型的跟踪标记3D角点进行提取；(5)将CT模型与扫描模型进行空间配准，基于粒子群优化算法将跟踪标记的3D特征点和2D特征点进行对齐；(6)在跟踪过程中，提取每一帧上跟踪标记的2D角点坐标，并利用pnp单应估计相机的运动姿态。

技术领域

本发明涉及增强现实的技术领域，尤其涉及一种基于自适应角点单应估计的增强现实标定方法，以及基于自适应角点单应估计的增强现实标定装置。

背景技术

增强现实技术在工业、医疗、娱乐等领域发挥着越来越重要的辅助作用，主要集中在视觉拓展方面。在临床医疗中，增强现实技术可将患者的三维解剖结构实时叠加在真实环境的视频流上，从而扩展医生的术中视野，提高手术效率和保证手术安全性。为了实现虚实器官的精准叠加，需要在术前执行复杂的空间标定过程，例如AR设备和真实环境的空间配准、摄像机和AR设备之间的配准。目前用于医疗的增强现实技术主要依赖昂贵的光磁跟踪设备，以跟踪患者在术中的位姿。为了降低硬件耗材的成本，基于图像跟踪标记的增强现实技术被提出并广泛使用。然而，传统的图像跟踪标记在术中容易受遮挡影响而导致跟踪丢失。

发明内容

为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种基于自适应角点单应估计的增强现实标定方法，其能够快速且准确地将术前计划叠加到患者的手术区域以引导医生进行手术操作，允许相机在多视角情况下鲁棒地提取图像标记的关键特征，从而保证术中的跟踪不丢失，可扩展医生在术中的视野，并引导医生快速完成手术操作。

本发明的技术方案是：这种基于自适应角点单应估计的增强现实标定方法，其包括以下步骤：

(1)利用线段形态约束算法识别跟踪标记的2D关键角点坐标；

(2)获取CT影像，并进行颅颌面器官的分割和三维重建；

(3)利用三维扫描仪获取双面跟踪标记与器官的三维模型；

(4)基于跟踪标记的模板对上述扫描模型的跟踪标记3D角点进行提取；

(5)基于粒子群优化算法将跟踪标记的3D特征点和2D特征点进行对齐，将CT模型与扫描模型进行空间配准；

(6)在跟踪过程中，提取每一帧上跟踪标记的2D角点坐标，并利用透视n点算法pnp单应估计相机的运动姿态。

本发明通过识别双面图像跟踪标记的特征点坐标，并通过单应估计求解每帧的相机姿态，以完成增强现实的精准叠加，因此能够快速且准确地将术前计划叠加到患者的手术区域以引导医生进行手术操作，允许相机在多视角情况下鲁棒地提取图像标记的关键特征，从而保证术中的跟踪不丢失，可扩展医生在术中的视野，并引导医生快速完成手术操作。

还提供了基于自适应角点单应估计的增强现实标定装置，其包括：

识别模块，其配置来利用线段形态约束算法识别跟踪标记的2D关键角点坐标；

重建模块，其配置来获取CT影像，并进行颅颌面器官的分割和三维重建；

获取模块，其配置来利用三维扫描仪获取双面跟踪标记与器官的三维模型；

提取模块，其配置来基于跟踪标记的模板对上述扫描模型的跟踪标记3D角点进行提取；

对齐模块，其配置来基于粒子群优化算法将跟踪标记的3D特征点和2D特征点进行对齐，将CT模型与扫描模型进行空间配准；

估计模块，其配置来在跟踪过程中，提取每一帧上跟踪标记的2D角点坐标，并利用pnp单应估计相机的运动姿态。

附图说明