[发明专利]一种尺度还原、三维重建方法、系统、存储介质及设备

说明书

本申请提供一种尺度还原、三维重建方法、系统、存储介质及设备，以解决现有技术相对于传统的单目三维重建，其开发成本和数据处理复杂度有所增加的技术问题。本申请获取第i关键帧；在距离第i关键帧的平移向量为T_i,j处，获取第j关键帧；第i关键帧的每个角点坐标对应匹配第j关键帧的每个角点坐标；根据第i关键帧角点坐标和第j关键帧角点坐标，获取第i关键帧和第j关键帧之间的几何关系，得到用以三维重建的尺度因子λ。

技术领域

本申请涉及图像处理领域，具体而言，涉及一种尺度还原、三维重建方法、系统、存储介质及设备。

背景技术

随着视频技术的发展，AR(增强现实)、VR(虚拟现实)以及MR(混合现实)的应用日趋完善。三维重建属于他们的交叉学科中的关键技术，发展至今，主要存在以下几类解决方案：

1）从设备上划分，三维重建技术依赖的数据能够分别从单目相机、双目相机以及深度相机中获取。当然，从设备的成本上考虑，他们的花费依次递增，然而从数据处理的难易程度上分析，则是相反的关系。

2）与实际AR、VR或MR应用的要求相关，有些功能需要在线处理视频数据达到重建效果，而另外一些功能允许离线处理数据实现三维重建效果。

3）重建的规模也可以将整个过程分为稠密和稀疏的三维重建，根据应用的需要以及场景功能的设定，稀疏重建能够满足一些在线视频技术的相关功能，而稠密重建更适用于视觉效果上的逼真和大规模场景的复现。

目前，成熟的三维重建技术中具有代表性的有SFM(Structure form motion)和SLAM(实时定位与建图)两大类：前者能够离线地重建出拍摄场景的大致轮廓，同时计算出每一帧图像所在的位置（外参）、以及内参信息。但是需要注意的是SFM技术是基于单目视觉下的重建工作，其重建结果与真实空间相差一个未知的尺度；而后者的重心在于定位和地图重建，但是定位和运动轨迹的估计需要还原到真实空间的尺度，所以SLAM技术通常会利用额外的数据，例如,拥有深度数据的RGBD-SLAM、记录外参变化信息的Visual-InertialSLAM，这些衍生的SLAM技术通过增加一些先验信息将原本SFM存在的问题进行有效解决。由于获取这些先验信息需要增加一些额外的工作或者是硬件设备，相对于传统的单目三维重建，其开发成本和数据处理复杂度有所增加。

发明内容

本申请提供一种尺度还原、三维重建方法、系统、存储介质及设备，以解决现有技术相对于传统的单目三维重建，其开发成本和数据处理复杂度有所增加的技术问题。

本申请的实施例通过如下方式实现：

本申请实提供一种尺度还原方法，包括获取第i关键帧；在距离第i关键帧的平移向量为T_i,j处，获取第j关键帧；第i关键帧的每个角点坐标对应匹配第j关键帧的每个角点坐标；根据第i关键帧角点坐标和第j关键帧角点坐标，获取第i关键帧和第j关键帧之间的几何关系，用于得到三维重建尺度因子λ；其中，第i关键帧角点坐标与第j关键帧角点坐标的平移向量为T_i,j；获取初步特征点，i，j都是大于0的正整数；所述第i关键帧和第j关键帧是包含真实三维空间中完整封闭的多边形轮廓信息的图像帧。

进一步的，所述匹配第i关键帧的每个角点坐标与第j关键帧的对应角点坐标是通过最小距离值实现将对应角点进行匹配。

进一步的，所述匹配第i关键帧的每个角点坐标与第j关键帧的对应角点坐标是通过角度相似性度量找到对应的第j关键帧的角点坐标。

进一步的，所述每个角点坐标与第j关键帧的对应角点坐标是通过角度相似性度量找到对应的第j关键帧的角点坐标具体过程是：所述第i关键帧中封闭物体的完整封闭轮廓信息中任意一个角点都分别计算出多个角度，取最大角度为此角点在第i关键帧封闭物体中的角度；根据，通过角度相似性度量找到第i关键帧该角点坐标对应第j关键帧角点坐标；以此类推，得出第i关键帧角点坐标对应第j关键帧角点坐标。