[发明专利]一种移动平台上的实时全景跟踪与拼接方法

说明书

技术领域

本发明涉及一种全景的场景表达方法，尤其涉及一种移动平台上的实时全景跟踪与拼接方法。

技术背景

全景图是一种常见的场景浏览方式，可以看作是普通广角镜头的推广，具有更大的视角和更广的场景信息。全景图以其特有的视觉表现形式可以广泛应用于场景漫游，虚拟现实，纹理映射，增强现实等各个领域。

传统的全景图生成方法，包括David Lowe的基于尺度不变特征(SIFT)(Lowe,David G.Distinctive Image Features from Scale-InvariantKeypoints.International Journal of Computer Vision 60.2,2004:91-110.)的照片图像拼接方法(Matthew Brown,David G.Lowe.Automatic Panoramic Image Stitching using Invariant Features.International Journal of Computer Vision,2007,74(1):59-73)，Google的基于陀螺仪的全景拍摄App—PhotoSphere(https://www.google.com/maps/about/contribute/photosphere/)，微软的基于图像特征拍摄的全景App—PhotoSynth(https://photosynth.net/)。其中David的全景生成算法是基于SIFT特征匹配的，借助于SIFT算法强大的特征描述能力和匹配精度，David的算法可以在大场景下，生成无边缝，无色差，几何一致的全景图。但是由于SIFT的计算非常耗时，使得这种算法不适合在移动平台上使用。Google的全景拍摄App是基于陀螺仪得到的旋转参数的，在移动平台上，陀螺仪这些传感器的信息可以做到每秒60帧的更新频率，因为可以在移动平台上做到实时预览的效果。然而内置的传感器会有很大的噪音，尤其当这些传感器的噪音映射到图像上之后，在图像上会看到明显的边界和缝隙，一些基本的几何结构不能保持一致性，例如线段会在图像交接处断开等。微软的PhotoSynth用到图像的特征信息，因而在图像上能够保持比较明显的几何一致性，边缘部分相对于Google的PhotoSphere有比较好的融合度。但是PhotoSynth虽然是假设相机的纯旋转运动，却并没有严格的限制手持用户的操作，即使用户有比较明显的平移操作，即相机的中心移动了，还是会把图像加进来，这样做图像合成就会有比较明显的几何误差，尤其是在室内场景中，由于物体的景深比较小，相机上微弱的移动反映在图像上都是较大的偏移。因此非常有必要对相机的平移做一个检测，同时及时的给出反馈，保证加入全景的图像不存在较大的平移，只有输入的原始图像符合纯旋转的几何属性，最终生成的全景图才可能是几何一致的。传统的处理全景图的方法大都把注意力集中在如何去消除相机中心移动造成的图像之间的几何误差上，而没有人去从源头检查输入的图像是否满足纯旋转的约束。

该发明首先设计一种在移动终端上实现的实时全景跟踪系统，实现了快速相机姿态(3DOF)的估计，同时还能在跟踪的过程中，实时的检测每一帧的相机是否有平移运动，并及时的做出反馈，指导用户按照纯旋转的方法进行拍摄。实验结果显示：通过这种实时的检测和反馈的形式，普通用户能够很好的拍摄出无偏差的全景图。

发明内容

本发明的目的在于针对传统全景制作方法的不足，提出一种移动平台上的实时全景跟踪与拼接方法。

一种移动平台上的实时全景跟踪与拼接方法包括如下步骤：

1)基于球面模型的实时跟踪：每一帧通过相机捕获的图像，先做特征跟踪，然后计算当前相机在三维空间的旋转姿态；

2)快速鲁棒的平移检测：在进行实时跟踪相机旋转姿态的同时，还检测相机的中心是否发生位移，当发生位移的时候，给用户相应的反馈，帮助用户回到初始的相机位置，减小捕获的图像之间的平移误差，保证图像满足在一个球面上的约束；

3)Map扩展和更新：添加关键帧和三维特征点，利用集束调整的方法进行优化，更新整个Map，整个Mapping过程放在后台线程来计算；

4)全景离线合成：后台离线将多张图像实时拼接在一起，对图像进行曝光补偿和多频带融合,高质量的生成几何一致的全景图。

所述的步骤1)具体为：

a)将获取的RGBA图像，转成灰度图后构建4层图像金字塔，在每一层上都检测FAST特征点；