[发明专利]混合现实操作配准方法及装置

说明书

本发明实施例提供一种混合现实操作配准方法及装置，该方法包括：获取视觉坐标系下视觉标记的空间坐标，所述视觉标记设置在操作区域的预设位置处；根据所述视觉标记的空间坐标，以及所述视觉标记与所述操作区域的相对位姿关系，获取操作区域在视觉坐标系中的位姿；根据操作区域在视觉坐标系中的位姿，将包括操作路径和部件放置位置的虚拟三维模型，转换到视觉坐标系进行成像，以实现操作配准。实施过程中只需获取视觉标记的坐标，无需获取整个操作区域三维模型，从而计算量较小。在获得操作区域与视觉坐标系的相对位置后，通过三维数据重建，确定操作路径和部件放置位置，从而能够准确的确定待操作的区域，进而有利于实现准确的操作配准。

技术领域

本发明涉及混合现实应用领域，尤其涉及一种混合现实操作配准方法及装置。

背景技术

随着科技的发展，AR(Augmented Reality，增强现实技术)和VR(VirtualReality，虚拟现实技术)已经融入到大众的生活当中，而后兴起的MR(Mixed Reality，混合现实技术)等新型数字技术也展现出了极大的潜在价值。与AR和VR不同的是，MR是将虚拟世界与现实世界融合的同时进行实时交互和信息的及时获取，增强了用户体验的真实感，具有真实性、实时互动性以等特点。

在MR应用领域，MR技术除了可用于影像的三维显示与交互外，还可以用于指导一些精密度要求较高的操作，如精密仪器零件的安装。通常做法是先获取操作区域的影像数据进行操作规划，然后在三维辅助设计软件中将整个操作规划导出成三维场景模型，上传到MR全息眼镜上，把它呈现在现实环境中与操作部位进行重叠融合。在操作过程中用户配戴全息眼镜进行操作，就可以直接观察到操作区域的结构，从而指导安装操作，提高操作安全性和准确度。

为了将虚拟模型映射到真实环境中，需要对其进行配准。配准操作的准确性会影响操作的结果。传统方法使用MR全息眼镜提供的工具进行手动配准，即通过手动旋转、平移等操作将虚拟模型与真实环境上相对应的若干特征点重合在一起实现刚性配准，锁定配准结果。这种方法需要真实场景下的物体保持固定不动，否则就需要重新配准。而且在MR眼镜中进行手动配准误差较大，如果操作精度要求很高，则该方法存在隐患。

目前的将MR技术应用于指导精准的操作操作时的配准方法不够准确，难以将虚拟模型与真实场景准确的匹配在一起，从而影响操作精度。

发明内容

为了解决上述问题，本发明实施例提供一种混合现实操作配准方法及装置。

第一方面，本发明实施例提供一种混合现实操作配准方法，包括：获取视觉坐标系下视觉标记的空间坐标，所述视觉标记设置在操作区域的预设位置处；根据所述视觉标记的空间坐标，以及所述视觉标记与所述操作区域的相对位姿关系，获取操作区域在视觉坐标系中的位姿；根据操作区域在视觉坐标系中的位姿，将包括操作路径和部件放置位置的虚拟三维模型，转换到视觉坐标系进行成像，以实现操作配准。

进一步地，所述根据所述视觉标记的空间坐标，以及所述视觉标记与所述操作区域的相对位姿关系，获取操作区域在视觉坐标系中的位姿之前，还包括：通过标定，获取所述操作区域和所述视觉标记的相对位姿。

进一步地，所述将包括操作路径和部件放置位置的虚拟三维模型，转换到视觉坐标系进行成像之前，还包括：根据操作区域的三维扫描数据，进行三维重建；根据重建后的三维模型，获取所述操作路径和所述部件放置位置，以生成所述虚拟三维模型。

进一步地，所述视觉标记设置在导板基体上，所述导板以贴合的方式设置在操作区域处。

进一步地，所述获取视觉坐标系下视觉标记的空间坐标之前，还包括：根据所述操作路径和所述部件放置位置，通过3D打印生成包括视觉标记的导板。

进一步地，所述导板待操作处设置观察窗和/或导向孔；所述观察窗，用于观察操作器械的位置；所述导向孔，用于引导操作器械。