[发明专利]一种基于特征点的图像拼接方法、虚拟现实系统、照相机

说明书

本发明属于图像拼接技术领域，公开了一种基于特征点的图像拼接方法、虚拟现实系统、照相机；首先对两幅图像提取fast角点，并计算harris角点响应，进行网格划分，在每一个网格内，对fast角点进行harris角点响应排序，筛选出强特征点；然后对强特征点进行orb和brief描述子描述，并分别进行暴力匹配，筛选匹配完全一致的特征点匹配对，计算引导矩阵；利用引导矩阵，将先前提取的fast角点进行映射，进行区域限定匹配；在进行得到特征点匹配对后，根据相似的单应矩阵具有相近的位置冲突关系来改进ransac，最终能够得到较好的结果。本发明可以快速的计算出图像之间的单应关系，取得较好的拼接结果。

技术领域

本发明属于图像拼接技术领域，尤其涉及一种基于特征点的图像拼接方法、虚拟现实系统、照相机。

背景技术

目前，最接近的现有技术：随着计算机技术的飞速发展，一些比较传统的表现方式也越来越无法满足大部分客户对于展示方式的要求。在需要真实、全面、直观的表现某一场景时，全景图像拼接无疑是最好的选择。目前基于特征点的图像拼接方法仍然为主流方法，首先检测出图像的特征点，并进行配准，根据图像匹配情况，能够计算出图像之间的变换模型，用所得到的模型对待拼接的图像进行变换，然后使用光照一致性方法以改善图像光照差异，再对图像重叠部分进行融合处理，从而得到了拼接图像。

基于特征的图像拼接技术不易受图像平移、旋转、尺度缩放、光照及视角变化等因素的影响，具有配准精度高、拼接效果好等优点，但是其速度却差强人意，在图像质量不好的情况下，拼接效果也无法得到保证。最常用的sift算法，由于sift计算关键点过程需要构建高斯金字塔和高斯差分金字塔，以模拟人眼由远及近的观察过程，同时在不同尺度上的特征点还要保证稳定性和唯一性，需要进行极大值抑制和精确点定位，并计算其主方向，能够使特征点具备旋转不变性，在对特征点进行描述时，需要计算关键点周围像素的梯度，并进行划分统计，以上步骤使sift计算复杂度高，计算速度慢，而在实际应用中无法满足要求。而orb算法是一种基于二进制描述方法，使用fast寻找图像中中间像素与周围像素相差过大的特征点，使用brief对特征点描述，采用随机采样，比较两次采样结果的大小赋值为0或1，由于这种方法采用二进制描述，匹配速度很快，但是其鲁棒性不是很好。在得到匹配对后，还需要使用ransac进行筛选匹配对，很多情况下ransac时间过长，而且得出的单应矩阵的正确性也无法保证。同时传统ransac需要对每一个随机计算的单应矩阵进行模型的误差计算，都造成了大量的时间消耗。而图像的配准精度与速度是影响图像拼接质量好坏的决定性因素，待拼接图像的质量千差万别，在提升拼接质量的前提下，对拼接算法提速是一个重要的研究内容。由于以上种种原因，目前还没有一种通用的拼接方法能够很好地同时满足鲁棒性和实时性的要求，如何兼顾这两点一直是近期拼接领域的研究重点。

综上所述，现有技术存在的问题是：目前基于特征点的图像拼接算法在特征点提取和配准过程中计算复杂度高，计算速度慢，无法应对一些图像质量差的情况，如特征点较少或者光照不均匀等情况；ransac时间过长，得出的单应矩阵的正确性也无法保证，从而造成整个图像拼接时间过长，无法进行实时应用。

解决上述技术问题的难度：如何在图像质量不好的情况下，仍然能够快速实现图像精准配准，以实现提升图像拼接的质量和速度。

解决上述技术问题的意义：在应对图像质量不好的情况下，仍然能够快速拼接出高质量的全景图像，为实时全景拼接提供可能。

发明内容

针对现有技术存在的问题，本发明提供了一种基于特征点的图像拼接方法、虚拟现实系统、照相机。

本发明是这样实现的，一种基于特征点的图像拼接方法，所述基于特征点的图像拼接方法包括：

第一步，对两幅图像进行fast角点提取，计算harris角点响应，并对图像网格化，在每一个网格内根据角点响应排序，筛选强特征点；