[发明专利]视频场景三维重建时的特征点优选方法

说明书

技术领域

本发明涉及图像处理、计算机视觉、计算方法、数学、数值方法、视频处理、三维重建等技术领域，尤其是这一种视频三维重建时的特征点的确定方法。

背景技术

近几年来，在计算机视觉领域中，从运动中恢复结构问题一直是一个非常重要的问题，并有很多研究者置身于解决此问题。从视频中进行三维重建是一个非常重要的问题，在这几年中，三维重建的应用越来越广泛，比如，航空航天器，机器人导航，重构雕塑和历史古迹的三维模型，三维动画和视觉检查等。这个问题的目标可以简单描述如下，由单个摄像机对感兴趣的场景获得一段视频，然后我们需要计算出场景的三维结构，输入的数据是由一个未标定的摄像机获得的视频，比如，摄像机的内参数未知。同时，我们也需要计算出摄像机方向的相对位置。

到目前为止，解决运动三维重建已有许多方法和算法。并有一些研究者得出了很好的结果。其中一个流行的方法为：第一步，从视频的第一帧图像中，对感兴趣的区域选择出特征点集，这些特征点可以用KLT算法自动地提取出来，必须保证这些点是足够的有效的。第二步，在整个视频中，对特征点进行跟踪，必须确保这些跟踪的特征点数据足够精确。接下来，在视频的每一帧中把跟踪数据进行整合得到其测量矩阵，并分解此矩阵得到特征点的三维坐标，同时，计算出摄像机的位置和方向信息。

现在，许多研究者有很多方法去选择并跟踪特征点，其中一个最流行的算法是KLT(Kanade-Lucas-Tomasi)算法，它是基于亮度值来进对特征点进行跟踪的，特征点选择是通过Lucas & Kanade算法。对于从图像序列中得到结构和运动数据的分解方法，这个工作是由Carlo Tomasi and Takeo Kanade提出的。这个方法是运用奇异值方法分解测量矩阵，得到两个分解的矩阵分别表示场景的结构和摄像机的运动。对于摄影重构的分解方法是由Peter Stuem and Bill Triggs提出的，这个方法仅仅运用基础矩阵和基线去估计三维结构信息。

发明内容

为了克服已有视频场景三维重建KLT特征点跟踪方法的精确度较差的不足，本发明提供一种有效提高精确度的视频场景三维重建时的特征点优选方法。

本发明解决其技术问题所采用的技术方案是： 

一种视频场景三维重建时的特征点优选方法，包括以下步骤：

1）视频场景的图像序列I(X, t)，其中， X表示第i个特征点的位置，X的坐标为（                                                ，），t表示帧的序数，使用KLT跟踪器对特征点进行跟踪，设定图像序列中两帧数据之间的时间间隔是有限的小，特征点仅在位置上发生变化，亮度保持不变，如下式：

                              (1)

其中， 表示特征点的亮度，X表示特征点的位置，δ(X)表示变换函数，表示时间间隔：

δ(x)近似用一个向量d来表示：

                              (2)

计算图像I (X, t)和图像I(X+d, t+△t)中的两个窗口之间的差异，如下式：

              (3)

其中，表示差异量，w(X)是一个权值函数，W表示窗口，计算出使得向量d最小；

利用泰勒公式把按一阶展开得到线性的部分，并根据d到0设定相应的ε，得到线性的等式：

                                      (4)

其中，Z是2×2的矩阵；

                       (5)

并且，e是2×1的向量；

           (6)

其中，；

2）计算出在相邻帧之间每个跟踪特征点的向量方向，并用正弦值表示其向量方向，定义向量方向：

                     (7)

其中，上标j 表示帧数；

正弦值：

                            (8)

其中，；

其次，计算出θ的均值来决定其中心c：，并设定阈值a来排除相对变化较大的向量方向；