[发明专利]一种超大规模图像特征点匹配方法及系统

说明书

本发明公开了一种超大规模图像特征点匹配方法及系统，其中，方法的实现包括：首先进行图像近邻搜索得到图像匹配对；以图像为节点、图像近邻之间构成边形成一个无向图，对这个图进行广度优先排序，得到排序之后的图像和图像对；按照排序结果对图像的特征信息进行重排，并分块保存成二进制文件；按序读取保存有特征信息的二进制文件，根据排序后的图像对来依次进行特征匹配，并及时释放掉后续无用的特征信息；迭代的读取特征信息和进行特征匹配直到所有图像对完成匹配。实施本发明，可以保证在图像匹配的过程中图像特征点一次读取、局部完全利用，可以在内存不会溢出的同时，保证了算法的效率。

技术领域

本发明属于计算机视觉领域，更具体地，涉及一种超大规模图像特征点匹配方法及系统。

背景技术

大规模无序图片集的三维重建在最近几十年一直是计算机视觉领域比较热门的一个研究课题。该项技术可以用于城市数字地图的搭建、数字博物馆的构建和灾后建筑的重建等。对于大规模无序图片数据集的三维重建，近年来，一整套比较成熟且被学术界认可的重建流程已经搭建完成，主要包含以下步骤：1)图片特征点提取，2)图像之间的特征匹配，3)对图像匹配对进行几何校验，4)根据匹配估计相机姿态和稀疏三维点云。大部分研究者遵照这样的一个大体流程，对于其中的分步骤进行改进。

按照上面的流程，对于大规模数据集而言，算法的主要瓶颈出现在第二步，为了避免两两进行匹配而带来大量的时间浪费，这里涉及到图像之间是否有匹配关系的问题，目前很多针对大规模无序图片集的三维重建的工作正是为了解决这个问题。他们的主要途径都是通过某种高效率方式近似地找到有场景重叠的图像对，从而减少总的匹配时间。其中比较经典的方法是Agarwal提出的Vocabulary tree词汇树搜索近邻的方法，主要思想是通过图像的特征点训练得到一个词汇树，通过这个树用一种检索机制来找到每幅图像的近邻，特征点匹配只在近邻图像间进行。

目前对于第二步的改进工作主要解决的是在特征匹配之前如何减少图像对的数量。但是对于大规模图像数据集合来说，在特征匹配的过程中，内存和效率同样需要进行较大的改进。对于多个图像对的特征匹配，最理想的情况是把所有的图像特征点一次性放入内存中，这样就能保证所有图像之间能进行特征匹配。但是对于超大规模图像集来说，把所有图像的特征点一次性放入内存中将会造成内存溢出。另外还有一种思路是需要用到哪副图像进行匹配时就加载那副图片的特征点，用完之后就释放掉。这样就能保证内存不会溢出，但是这样就会出现频繁的I/O操作，大大降低了算法的效率。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种超大规模图像特征点匹配方法及系统，在过滤得到有场景重叠的图像对之后，通过广度优先排序把有场景重叠的图像聚集在一起，从而保证在图像匹配的过程中图像特征点一次读取、局部完全利用，可以在内存不会溢出的同时，保证了算法的效率。由此解决现有技术中存在的内存溢出以及频繁的I/O交换导致效率下降的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种超大规模图像特征点匹配方法，包括：

(1)特征点提取和图像对的初始过滤：对每幅图像提取特征点，然后采用图像检索的方法找到每幅图像的近邻，剔除不相关的图像对，得到有场景重叠的图像对；

(2)广度优先遍历重排图像和图像对序列：在得到有场景重叠的图像对之后，以图像为节点、图像对形成边，构成一个无向图，以其中匹配数目最多的图像为起点，进行广度优先排序，得到排序之后的图像序列和图像对序列；

(3)分块保存排序后的特征点：根据排序之后的图像序列对特征点进行重排，并分块保存成二进制文件；

(4)加载初始块的特征点并进行匹配：读取起始的二进制文件信息，根据排序后的图像对序列进行特征匹配，释放无用的特征信息所占用的内存资源；