[发明专利]一种基于迭代最近点的大视场视频全景图拼接的方法

权利要求书

1.一种基于迭代最近点的大视场视频全景图拼接的方法，其特征在于，包括以下步骤：

(1)提取并匹配相邻两帧视图的特征；

(2)基于步骤(1)中得到的特征，计算相邻两帧视图的相对位姿；

(3)通过相对位姿计算得到极线约束，在极线约束下，对相邻两帧视图进行稠密匹配，得到稠密的匹配点对；

(4)利用步骤(3)得到的稠密的匹配点对，计算相邻两帧视图重叠区域的三维模型；

(5)采用迭代最近点法，将步骤(4)得到的三维模型转化到第0帧视图的相机坐标系下，即世界坐标系；

(6)将在步骤(5)中转化后的三维模型，投影到第0帧视图中，建立三维模型上各点与第0帧视图上位置的映射关系；

(7)基于步骤(6)得到的映射关系，将映射第0帧视图相同位置的点融合，完成拼接；

在步骤(1)提取并匹配相邻两帧视图的特征的实现如下：

(1)对相邻两帧视图提取SIFT特征点，并计算每个特征点的描述子；

(2)基于各个特征的描述子，对相邻两帧视图提取到的特征进行匹配，从而得到相邻两帧视图间，若干匹配特征点对。

2.根据权利要求1所述的基于迭代最近点的大视场视频全景图拼接的方法，其特征在于：在步骤(4)计算相邻两帧视图重叠区域的三维模型，实现如下：

根据摄影测距原理，计算步骤(3)中得到的所有两帧视图间匹配点对对应的三维点，这些三维点共同组成了相邻两帧视图重叠区域的三维模型，三维模型为M^k，代表M^k中各点，h为M^k中点的数目，上标k代表M^k是由第k帧视图和第k+1帧视图的稠密匹配点对，M^k中各点的颜色即为计算三维点时，匹配点对颜色的均值。

3.根据权利要求2所述的基于迭代最近点的大视场视频全景图拼接的方法，其特征在于：在步骤(5)利用迭代最近点法，将步骤(4)得到的三维模型转化到第0帧视图的相机坐标系下的实现如下：

(11)第0帧视图和第1帧视图重叠区域对应的三维模型为M⁰通过迭代最近点方法，计算从M^k到M⁰的最佳刚体变换，最佳刚体变换通过旋转矩阵R^k和平移矢量T^k进行描述；

(12)将最佳刚体变换作用于M^k中各点，如式(1)所示，

其中，为将变换到世界坐标系后的点，i用于索引M^k或即为把M^k变换到第0帧视图的相机坐标系下的结果。

4.根据权利要求3所述的基于迭代最近点的大视场视频全景图拼接的方法，其特征在于：在步骤(6)建立三维模型上各点与第0帧视图上位置的映射关系，具体实现如下：

(21)将中各点投影至第0帧视图如式(2)所示：

式(2)中，π(·)为透视投影映射，[u,v]^T为在第0帧视图中投影位置的坐标，其中，u和v分别为在第0帧视图中投影的横坐标和纵坐标；

(22)结合式(2)和式(1)，得到M^k中各点与第0帧视图的位置建立映射，如式(3)所示：

5.根据权利要求1所述的基于迭代最近点的大视场视频全景图拼接的方法，其特征在于：在步骤(7)将映射第0帧视图相同位置的点融合，具体实现如下：

对于第0帧视图的所有位置p，执行如下操作：

(31)找出所有与通过步骤(6)与位置p建立对应关系点，计算与位置p建立对应关系的点的颜色的平均值，记为C；

(32)将位置p的颜色赋为C。