[发明专利]一种移动平台上的实时全景跟踪与拼接方法

权利要求书

1. 一种移动平台上的实时全景跟踪与拼接方法，其特征在于包括如下步骤：

1）基于球面模型的实时跟踪：每一帧通过相机捕获的图像，先做特征跟踪，然后计算当前相机在三维空间的旋转姿态；

2）快速鲁棒的平移检测：在进行实时跟踪相机旋转姿态的同时，还检测相机的中心是否发生位移，当发生位移的时候，给用户相应的反馈，帮助用户回到初始的相机位置，减小捕获的图像之间的平移误差，保证图像满足在一个球面上的约束；

3）Map扩展和更新：添加关键帧和三维特征点，利用集束调整的方法进行优化，更新整个Map，整个Mapping过程放在后台线程来计算；

4）全景离线合成：后台离线将多张图像实时拼接在一起，对图像进行曝光补偿和多频带融合, 高质量的生成几何一致的全景图。

2.根据权利要求1所述的一种移动平台上的实时全景跟踪与拼接方法，其特征在于所述的步骤1）具体为：

a）将获取的RGBA图像，转成灰度图后构建4层图像金字塔，在每一层上都检测FAST特征点；

b）在每一帧的特征跟踪开始之前，基于上一帧相机的姿态以及当前帧的图像信息，预估计当前帧的相机姿态；

c）用估计的相机姿态，将Map里的三维特征点投影到当前帧图像上，作为特征点跟踪的初始位置，并将特征点搜索限制在距离当前特征点半径为10像素的窗口范围内；

d）选用FAST来做特征检测，采用图像Patch来做特征跟踪和匹配，并进行图像亮度变化和图像畸变处理；

e）定义能量函数估计相机姿态的增量，引入MEstimator剔除outliers，然后利用加权最小二乘迭代优化，求解出当前帧的相机参数；

f）将图像分成四层金字塔，在最高两层估计初始相机姿态，在下面两层进行优化。

3.根据权利要求1所述的一种移动平台上的实时全景跟踪与拼接方法，其特征在于所述步骤3)具体为：

1）选取特征匹配达到30%以上，与之前添加关键帧有至少20帧距离的关键帧，且严格控制相机中心做旋转运动，利用参考帧和当前帧的单应性关系扩展Map；

2）将多个关键帧与多个特征点之间的投影约束关系放到一个能量函数里面，利用球面模型的集束调整进行整体优化，更新整个Map，整个Mapping过程放在后台线程来计算。