[发明专利]一种刚体追踪的方法、装置和系统

说明书

本发明公开了一种刚体追踪的方法、装置和系统。该方法包括：获取摄像头采集的刚体的图像，确定图像中的特征点相对于摄像头的三维位置坐标；获取IMU采集的刚体的初始姿态和对应摄像头拍摄时刻的刚体姿态，确定图像特征点的身份信息；根据特征点的身份信息得到匹配的特征点对；根据匹配的特征点对，计算图像中的特征点的旋转和平移信息；根据旋转和平移信息计算光学系统中刚体的位置信息；解决了现有特征匹配算法计算量大、应用场景局限性大等问题，解决了计算机图形学追踪算法由于摄像头获取的图像分辨率不高导致的空间定位精度不高的问题，达到了将基于计算机图形学的追踪算法与IMU的追踪算法进行优势互补的目的，提升了刚体追踪的精确度。

技术领域

本发明涉及计算机技术领域，具体涉及一种刚体追踪的方法、装置和系统。

背景技术

现有的追踪技术可以在不同的物理硬件上以不同的方式进行实现。现有的追踪技术的实现方式主要有以下几种：

(一)基于计算机图形学和图像处理技术的单双目RGB相机，IR相机，深度相机等。

(二)基于激光，雷达，电磁波，超声波等定位手段。

(三)基于IMU的惯性传感单元等。

上述追踪技术在追踪算法的实现上各具有优缺点，其中，基于计算机图形学的追踪算法是最广泛使用的算法，有适应范围广，硬件条件低的优点，但是由于图像分辨率不高导致定位的精度不高。基于IMU的追踪有抗干扰能力强，输出稳定的优点，但是IMU在定位方面存在时间漂移问题，导致定位不准确。

另外，特征匹配是计算机视觉中的一个基本问题，只要涉及到两幅或者多幅图像时，都会涉及到对应特征的匹配问题。现有的特征匹配主要有以下两种，一种是基于纹理的特征匹配算法，其计算量较大；另外一种是基于射影不变量的特征匹配算法，其对应用场景的限制较高。

发明内容

本发明提供了一种刚体追踪的方法、装置和系统，以解决现有的基于计算机图形学的追踪算法定位精度不高，IMU由于存在时间漂移导致定位不准确以及现有特征匹配算法计算量大、应用场景局限性大问题。

根据本发明的一个方面，提供了一种刚体追踪方法，所述刚体包含多个特征点，预存所述刚体上每个特征点的身份信息及相对于所述刚体重心的三维位置信息，在所述刚体上设置惯性测量传感器IMU，所述方法包括：

获取摄像头采集的所述刚体运动时的图像，确定所述图像中的所述刚体的特征点相对于摄像头的三维位置坐标；

获取所述IMU采集的所述刚体初始状态下的姿态和与所述刚体对应的所述摄像头拍摄时刻的姿态；

根据所述刚体初始状态下的姿态、所述摄像头拍摄时刻的姿态和所述预存刚体上每个特征点的身份信息及相对于所述刚体重心的三维位置信息，确定所述图像中所述刚体的特征点的身份信息；

根据所述图像中所述刚体的特征点的身份信息，将获取到的所述图像中所述刚体的特征点相对于摄像头的三维位置坐标与预存的刚体上每个特征点相对于所述刚体重心的三维位置信息进行匹配，得到匹配的特征点对；

根据所述特征点对，确定所述图像中的特征点相对于初始姿态下的旋转和平移信息；并根据所述旋转和平移信息计算摄像头光学系统中刚体的位置信息。

优选地，所述方法还包括：

根据所述旋转和平移信息校正所述IMU获取到的摄像头拍摄时刻的所述刚体的姿态。

优选地，所述获取摄像头采集的所述刚体运动时的图像，确定所述图像中的所述刚体的特征点相对于摄像头的三维位置坐标包括：

根据所述计算得到的图像中特征点相对于摄像头的三维位置坐标计算所述图像中的特征点之间的第一相对距离；