[发明专利]一种基于多目相机的无纹理三维物体跟踪方法及装置

说明书

本发明公开了一种基于多目相机的无纹理三维物体跟踪方法及装置，该方法包括：获取第一位姿，其中所述第一位姿为目标物体上一帧在各相机坐标系下的位姿；将所述第一位姿转换到物体中心坐标系下，得到第二位姿；建立所述物体中心坐标系下的相机投影模型；根据所述第二位姿和相机投影模型，建立物体中心坐标系下的联合能量函数；将所述联合能量函数最小化，得到所述物体中心坐标系下的位姿变换增量；将所述位姿变换增量转换到各相机坐标系下并对所述第一位姿进行更新，从而实现物体跟踪。本发明采用多目跟踪的方法，将各个相机的图像信息与坐标系信息建立在同一框架下，得到更加准确的跟踪结果。

技术领域

本申请涉及计算机视觉技术领域，尤其涉及一种基于多目相机的无纹理三维物体跟踪方法及装置。

背景技术

三维物体跟踪可以在连续视频帧中估计三维物体与相机之间的相对位姿(即位置与姿态)。目前三维跟踪在计算机视觉和增强现实领域中有着广泛的应用场景，例如医学、制造业、机器人和游戏娱乐等领域。

单目无纹理物体跟踪仅使用2D图像中的物体轮廓或轮廓周围的区域信息，缺乏相机视线方向的信息，因此优化结果会在相机视线方向产生较大误差，不能满足高精度跟踪要求。

在实现本发明的过程中，发明人发现现有技术中至少存在如下问题：

现有解决方案中，一种是使用深度相机获取深度信息，在相机视线方向产生约束，并使用深度数据迭代优化至最优位姿。但深度相机往往受限于实际的应用场景，例如使用距离受限、不能在室外使用等，并且深度数据在采集时会有数据缺失现象进而影响跟踪精度；另一种解决方案是使用多视角相机提高跟踪精度。多视角相机通过获得各视角下的高质量RGB图像弥补各相机视线方向信息。一些基于特征点的方法使用多视角几何模型提取SIFT（Scale-invariant feature transform，尺度不变特征变换）特征点，然后在多视角相机下建立2D-3D点对应关系优化得到最优位姿，但不适用于无纹理物体。对于多目无纹理物体跟踪，由于无法在物体内部提取稳定的特征点，因此无法使用多视角几何模型直接建立各个相机坐标系之间的联系。目前的解决方案往往使用两步优化策略，首先估计各个相机下的物体位姿，然后在一个统一的世界坐标系下建立并最小化重投影损失误差得到最优位姿。该策略仅在第二步使用了多视角信息，并且该步骤没有使用图像特征，这使得优化过程不能统一坐标系与图像特征信息，限制了优化精度。另外，如果第一步得到的各个单目相机位姿不准确，也会影响二次优化的最终结果。综上所述，深度相机的使用场景受限，现有多目跟踪方法的跟踪精度仍然不足，均不能满足高精度跟踪的要求。

发明内容

本申请实施例的目的是提供一种基于多目相机的无纹理三维物体跟踪方法及装置，以解决相关技术中存在的单目三维物体跟踪精度不足的技术问题。

根据本申请实施例的第一方面，提供一种基于多目相机的无纹理三维物体跟踪方法，包括：

获取第一位姿，其中所述第一位姿为目标物体上一帧在各相机坐标系下的位姿；

将所述第一位姿转换到物体中心坐标系下，得到第二位姿；

建立所述物体中心坐标系下的相机投影模型；

根据所述第二位姿和相机投影模型，建立物体中心坐标系下的联合能量函数；

将所述联合能量函数最小化，得到所述物体中心坐标系下的位姿变换增量；

将所述位姿变换增量转换到各相机坐标系下并对所述第一位姿进行更新，从而实现物体跟踪。

进一步地，获取第一位姿之前，还包括：

根据目标物体的遮挡情况，确定相机的数量；

标定各相机之间的相对位姿关系，其中所述相对位姿关系用于所述联合能量函数的建立过程中。

进一步地，根据所述第二位姿和相机投影模型，建立物体中心坐标系下的联合能量函数，包括：

根据所述第二位姿和相机投影模型，建立物体中心坐标系下各相机的能量函数；