[发明专利]一种轨迹跟踪与三维重建方法、系统及装置

说明书

本申请实施例公开了一种轨迹跟踪与三维重建方法、系统及装置，涉及图像处理技术领域，解决了现有技术中轨迹跟踪稳定性差、精度低，以及现有技术中三维场景重建效果准确度低的问题。具体方案为：通过由轨迹跟踪与三维重建装置实现对双目相机获取的目标第一视图图像帧角点和第二视图图像帧角点的提取，生成三维点云以及关键帧，对前后两帧图像使用基于多平面拟合的方式进行跟踪持续更新三维点云以及关键帧集合，求解出相机位姿，根据相机位姿和三维点云得到稠密的深度图，并对深度图进行置信度判断，最后得到场景的三维重建模型。本申请实施例用于图像跟踪与三维场景重建的过程中。

技术领域

本申请实施例涉及图像信息处理技术领域，尤其涉及一种基于双目相机的轨迹跟踪与三 维重建方法、系统及装置。

背景技术

目前，随着移动智能设备的普遍性应用，大量的基于虚拟现实和增强现实的应用也不断 地涌入市场，例如：将虚拟物体叠加到真实场景的图片中，进而可以应用到游戏、医疗、教 育、导航等各种领域；以及当前社会中机器人的发展以及无人机无人车的广泛研究，高精度 的即时定位与地图构建(Simultaneous Localization And Mapping，SLAM)和三维重建成为众 多研究人员研究的热点。

现有的SLAM与三维重建方法主要是基于个人计算机(personal computer，PC)或者单 目相机设备，在进行目标跟踪时，是使用定向Brief(ORiented Brief，ORB)特征方法，根据 场景为平面/非平面场景来确定恢复相机运动轨迹的模型，来进行相机运动轨迹跟踪的；在跟 踪丢失时，通过计算词袋(bag of words，BoW)的方法进行重定位操作。然而，由于该目标 跟踪方法根据的是固定的几何模型，因此，其跟踪效果精确度低；另外，通过BoW的方法进 行重定位，由于其主要是进行关键帧与当前帧的BoW计算和匹配，因此，该方法在特征不丰 富的区域很容易丢失且重定位效果不理想，另外，使用该方法需要事先加载数据词典，而数 据词典通常比较大，因此初次加载时间比较长，且占用内存。

发明内容

本申请实施例提供一种轨迹跟踪与三维重建方法与系统，能够快速精确的进行轨迹跟踪， 提高深度图的精度，进而提高三维重建结果的可靠度。

为达到上述目的，本申请实施例采用如下技术方案：

本申请实施例的第一方面，提供一种轨迹跟踪与三维重建方法，该方法包括：提取第一 图像帧和第二图像帧的角点；该第一图像帧为双目相机的第一相机获取的图像帧，该第二图 像帧为双目相机的第二相机获取的图像帧；根据获取的第一图像帧和第二图像帧的角点获取 第一图像帧和第二图像帧对应的三维点云，该三维点云由三维点组成；将第一图像帧和第二 图像帧对应的三维点云中的三维点拟合至预设三维坐标系中的两个或两个以上的平面；根据 三维点所处的平面与对应的第一图像帧和第二图像帧的变换关系，获取三维点在第一图像帧 和第二图像帧上分别映射到的特征块组成的匹配对，其中，该特征块是以角点为中心的图像 块；根据三维点和对应的匹配对获取双目相机的位姿；根据第一图像帧上特征块的像素值和 该特征块在第二图像帧上匹配块的像素值获取深度图；根据获取的相机位姿和深度图结果生 成重建模型。如此一来，通过结合平面拟合的方式进行匹配对的确定以及相机位姿的求解， 可以得到更多准确的匹配，使得相机位姿的求解更加精确。

结合第一方面，在一种可能的实现方式中，该方法还包括：对获取的深度图结果进行置 信度判断；根据获取的相机位姿、深度图结果和置信度判断结果生成重建模型。如此一来， 通过对深度图结果进行置信度判断，进而根据参考度高的深度图结果生成重建模型，提高了 重建模型的精度。