[发明专利]一种基于物体3D位姿视觉跟踪的增强现实方法及装置

说明书

本发明公开了一种基于物体3D位姿视觉跟踪的增强现实方法及装置，该方法包括：获取第一相机视角下的第一能量函数和第二相机视角下的第二能量函数，并计算目标物体当前帧和上一帧在物体中心坐标系下的位姿变换增量；根据位姿变换增量，更新目标物体在第一相机视角下的位姿，得到第一位姿；将位姿变换增量发送至第二处理单元，以使得第二处理单元根据位姿变换增量，更新目标物体在第二相机视角下的位姿，得到第二位姿；将第一位姿发送至显示设备，以使得显示设备获取自身在世界坐标系下的第三位姿并根据第一位姿、第三位姿和第四位姿计算目标物体当前帧在显示设备坐标系下的第五位姿，其中第四位姿为第一相机在世界坐标系下的位姿。

技术领域

本申请涉及增强现实技术领域，尤其涉及一种基于物体3D位姿视觉跟踪的增强现实方法及装置。

背景技术

三维物体位姿跟踪是增强现实(AR)技术之一，通过实时估计相机与三维物体的相对位置关系来实时求解物体的位姿。三维物体跟踪技术有广泛的应用，例如可以应用于AR游戏，使用移动设备进行诸如商场环境下的AR导航，以及应用于器械维修时的电子说明书，通过对器械进行追踪，在屏幕上实时渲染需处理的步骤或器件等。实时高精度的三维物体姿态跟踪一直是研究者们努力的方向。

但是，在实现本发明的过程中，发明人发现现有技术存在以下问题：

一方面，目前已有的跟踪方法的精度主要为相机视线方向，往往是不能达到增强现实所需精度的，又或者使用深度信息来辅助，但是使用深度信息的跟踪方法的帧率往往很低，因为需要花费额外大量的时间去匹配深度信息和图像信息，跟踪效率低；另一方面，更多的显示设备期望于将物体跟踪和呈现集成在一个装置上，这不仅对装置的配置提出了很高的要求，同时也增加了装置的复杂度。

发明内容

本申请实施例的目的是提供一种基于物体3D位姿视觉跟踪的增强现实方法及装置，以解决相关技术中存在的跟踪效率低、装置配置要求高且装置复杂度高的技术问题。

根据本申请实施例的第一方面，提供一种基于物体3D位姿视觉跟踪的增强现实方法，应用于第一处理单元，包括：

获取第一相机视角下的第一能量函数和第二相机视角下的第二能量函数；

根据所述第一能量函数和第二能量函数，计算目标物体当前帧和上一帧在物体中心坐标系下的位姿变换增量；

根据所述位姿变换增量，更新所述目标物体在所述第一相机视角下的位姿，得到第一位姿；

将所述位姿变换增量发送至第二处理单元，以使得所述第二处理单元根据所述位姿变换增量，更新所述目标物体在第二相机视角下的位姿，得到第二位姿；

将所述第一位姿发送至显示设备，以使得所述显示设备获取自身在世界坐标系下的第三位姿并根据所述第一位姿、第三位姿和第四位姿计算所述目标物体当前帧在显示设备坐标系下的第五位姿，其中所述第四位姿为所述第一相机在世界坐标系下的位姿。

进一步地，根据所述第一能量函数和第二能量函数，计算所述目标物体当前帧和上一帧在物体中心坐标系下的位姿变换增量，包括：

根据所述第一能量函数和第二能量函数，计算双视图联合优化的综合能量函数；

对所述综合能量函数进行最小化，得到初步位姿变换增量；

根据所述初步位姿变换增量，更新第六位姿，其中所述第六位姿为所述目标物体上一帧在所述第一相机的相机坐标系下的位姿；

根据所述第一相机视角下的第一图像和所述第六位姿，更新所述第一能量函数；

将所述初步位姿变换增量发送至第二相机，以使得所述第二相机根据所述初步位姿变换增量更新第七位姿，根据第二相机视角下的第二图像和所述第七位姿更新所述第二能量函数，将更新后的第二能量函数发送至所述第一相机，其中所述第七位姿为所述目标物体上一帧在所述第二相机的相机坐标系下的位姿；