[发明专利]一种全景图特征匹配精度优化的方法及系统

说明书

技术领域

本发明涉及一种全景图特征匹配精度优化的方法及系统。

背景技术

球形全景图像提供了360度的宽广视角在同一时间可以记录下每一个方向的信息。由于它具有丰富的信息量，这种全景图被广泛应用于如google街景、三维场景重建等许多应用上。纯粹基于图像的重建，其质量极大得依赖于匹配的效果，然而球形全景图像的立体匹配在之前的工作中却少有研究。

运动恢复结构(SFM)是非全景相机校准的主要方法之一，通过SFM可以获得初始的相机参数和特征匹配。Furukawa和Ponce提出了一个新方法，利用光束平差法从粗糙的表面重构中提取的自顶向下的信息来确定图片的特征匹配，并且优化相机参数。当前有许多算法被提出，可以应用于普通的图像立体特征匹配中，然而，这些方法并不能直接用于全景图像，因为其具有复杂的投影关系和严重的几何畸变，因此在全景图像中找到精准的特征匹配仍然是一件非常困难的事情。

现有技术需要解决的问题是：如何提高全景图像之间特征的匹配精度。

发明内容

本发明的目的就是为了解决上述问题，提供一种全景图特征匹配精度优化的方法及系统，它具有提高全景图像之间特征的匹配精度的优点。

为了实现上述目的，本发明采用如下技术方案：

一种全景图特征匹配精度优化的方法，包括如下步骤：

步骤(1)：输入两幅全景图像：参考全景图像和目标全景图像；

步骤(2)：每幅全景图像均提取若干个虚拟普通图像；

步骤(3)：建立L层图像金字塔；

步骤(4)：若干个虚拟普通图像作为输入，运行三维重建软件PMVS，得到相机参数和原始特征匹配结果；

步骤(5)：从第L层图像金字塔开始，基于PMVS得到的3D点云，进行目标全景图像的特征匹配优化；

步骤(6)：判断是否所有3D点都经过处理，若是就进入步骤(7)；若否就返回步骤(5)；

步骤(7)：判断是否所有L层图像金字塔都迭代完，若是就采用光束平差法改善相机参数，进入步骤(8)；若否，则L＝L-1，返回步骤(5)；

步骤(8)：判断主循环次数是否等于设定次数，若是就将优化后的p_ij投影到目标全景图像上，最终获得精确的特征匹配；若否就返回步骤(4)。

所述步骤(2)的虚拟普通图像就是虚拟的普通图像，虚拟的普通图像通过全景图像投影得到的，包括位置的坐标和代表颜色信息的矩阵。

所述步骤(2)的步骤为：

(21)首先找到虚拟普通图像上的点与球面上点的投影关系；

(22)得到普通图像与球形模型之间的投影关系后，普通图像上每一点的颜色即是该点所对应的球面坐标处的颜色值，为普通图像上每一个坐标填充颜色，就将普通图像提取出来。

步骤(21)的步骤为：

(211)忽略图像旋转，假设虚拟普通图像的中心在X轴上，且虚拟普通图像相切于球面；

(212)将虚拟普通图像上的一点p′影到单位球上，为m′；

(213)通过视角α和β，计算出旋转矩阵R；

(214)最终m的坐标为m＝Rm′。

所述步骤(3)的步骤为：对参考全景图像、目标全景图像、若干个虚拟普通图像均建立L层图像金字塔，第L层表示当前的图像是原图像的1/2^L；

所述步骤(4)的相机参数包括焦距和相机中心。

所述步骤(5)的步骤为：

步骤(51)：从第L层图像金字塔开始，以每一个3D点P_i为中心构造一个长方形3D区域Q_i，按照设定步长对长方形3D区域Q_i进行采样，使长方形3D区域Q_i投影到任意2D普通图像上产生n*n的色块q_ij；i的参数含义是第i个点，j的参数含义是第j幅图像；

步骤(52)：将色块q_ij投影到对应的参考全景图像和目标全景图像上；