[发明专利]一种针对多视频序列的运动推断结构方法

权利要求书

1.一种针对多视频序列的运动推断结构方法，其特征在于它的步骤如下：

1)基于SIFT特征描述量，使用连续特征跟踪算法和非连续特征匹配算法，匹配分布于不同图像上对应于相同场景点的SIFT特征点；

2)基于匹配分布于不同图像上对应于相同场景点的SIFT特征点，使用运动推断结构算法，恢复各视频序列相应的子图，并将各视频序列相应的子图注册到统一的坐标系下；

3)使用基于分段的渐进式优化算法，迭代地将各视频序列相应的子图中存在的误差扩散并消除。

2.根据权利要求1所述的一种针对多视频序列的运动推断结构方法，其特征在于所述的步骤1)为：

(1)使用Lowe，D.G.：Distinctive image features from scale-invariant keypoints.International Journal of Computer Vision 60，91-110(2004)中提出的SIFT算法，为每个视频序列的每帧图像提取SIFT特征点，并为每个SIFT特征点x计算一个SIFT描述量，标记为p(x)；

(2)使用Zhang G，Dong Z，Jia J，Wong TT，Bao H(2010)Efficient non-consecutive feature tracking for structure-from-motion.In：ECCV(5)，pp 422-435中提出的连续帧特征跟踪算法为每个视频序列分别进行特征跟踪得到一系列特征跟踪轨迹，每条特征跟踪轨迹χ定义为对应某场景点的SIFT特征点的集合，χ＝{x_t|t∈f(χ)}其中x_t为第t帧图像中对应于该场景点的SIFT特征点位置，f(χ)为χ跨越的连续帧集合；

(3)使用基于匹配矩阵的特征轨迹匹配算法为每个视频序列匹配分布于非相邻子序列上的特征跟踪轨迹，并将所有视频序列首尾相邻形成一段虚拟序列，再次使用基于匹配矩阵的特征轨迹匹配算法为虚拟序列匹配分布于非相邻子序列上的特征跟踪轨迹。

3.根据权利要求2所述的一种针对多视频序列的运动推断结构方法，其特征在于步骤(3)中所述的基于匹配矩阵的特征轨迹匹配算法为：

①使用Zhang G，Dong Z，Jia J，Wong TT，Bao H(2010)Efficient non-consecutive feature tracking for structure-from-motion.In：ECCV(5)，pp 422-435中提出的匹配矩阵估计算法为输入序列估计一个匹配矩阵，标记为M，将M中最大元素值记为M_max；

②令k＝0，选择具有最大M(t₁，t₂)的帧对，标记为将M中以为中心3为半径的区域置0，使用Lowe，D.G.：Distinctive image features from scale-invariant keypoints.International Journal of Computer Vision 60，91-110(2004)中提出的SIFT匹配算法匹配得到间的特征点匹配集合，标记为由构造特征轨迹匹配集合C_χ：

C_χ＝{(χ₁，χ₂)|(x₁，x₂)∈C_x，x₁∈χ₁，x₂∈χ₂}

及帧对集合C_f：

C_f＝{(t₁，t₂)|M(t₁，t₂)≠0，t₁∈f(χ₁)，t₂∈f(χ₂)，(χ₁，χ₂)∈C_χ}

使用Richard I.Hartley：In Defense of the Eight-Point Algorithm.IEEE Trans.Pattern Anal.Mach.Intell.19(6)：580-593(1997)提出的基础矩阵估计算法由集合为估计3x3的基础矩阵，标记为为C_χ中的每个特征轨迹匹配(χ₁，χ₂)设置一个误差量和计数器

e(χ1,χ2)=d(Ft1(0),t2(0),x1(0),x2(0))2]]>

N(χ1,χ2)=1]]>

其中分别为χ₁、χ₂在第帧图像中对应的特征点位置，d(F，x₁，x₂)表示点x₂到直线间的距离，表示一个二维点x的齐次坐标为C_f中的每个帧对(t₁，t₂)设置一个计数器

Nt1,t2=|{(χ1,χ2)|t1∈f(χ1),t2∈f(χ2),(χ1,χ2)∈Cχ}|]]>

③令k＝k+1，选择具有最大且M(t₁，t₂)≠0的帧对，标记为将M中以为中心3为半径的区域置0，在C_χ中找到已匹配上的间的特征点集合，标记为

Cx(k)={(x1,x2)|x1∈χ1,x2∈χ2,(χ1,χ2)∈Cχ}]]>

使用Richard I.Hartley：In Defense of the Eight-Point Algorithm.IEEE Trans.Pattern Anal.Mach.Intell.19(6)：580-593(1997)提出的基础矩阵估计算法由集合为估计3x3的基础矩阵，标记为更新C_χ中的每个特征轨迹匹配(χ₁，χ₂)的误差量和计数器

e(χ1,χ2)=e(χ1,χ2)+d(Ft1(k),t2(k),x1(k),x2(k))2]]>

N(χ1,χ2)=N(χ1,χ2)+1]]>

其中分别为χ₁、χ₂在第帧图像中对应的特征点位置；

④使用Zhang G，Dong Z，Jia J，Wong TT，Bao H(2010)Efficient non-consecutive feature tracking for structure-from-motion.In：ECCV(5)，pp 422-435中提出的平面运动分割算法由集合为估计若干个3x3的单应矩阵，标记为H₁，Λ，N_H为这样的单应矩阵的个数，对每个第帧中尚未匹配上的特征点x₁，用H₁，Λ，进行测试，将x₁经过第i个平面运动后的位置标记为这里H_i为第i个单应矩阵，将第帧图像中以为中心，2为半径的区域内的所有尚未匹配上的特征点x₂都作为x₁的候选匹配，当N_H个平面运动均测试完毕后，将x₁的所有候选匹配构成的集合标记为选出中与x₁的SIFT描述量最为相近的特征点，标记为

x2*=arg minx2∈Tx1||p(x1)-p(x2)||2]]>

若则将视作一个新的特征点匹配，对应的特征轨迹匹配为(χ₁，χ₂)，x₁∈χ₁，设置(χ₁，χ₂)的误差量和计数器

e(χ1,χ2)=d(Ft1(k),t2(k),x1,x2*)2]]>

N(χ1,χ2)=1]]>

更新C_χ、C_f、

C_χ＝Cχ_Y{(χ₁，χ₂)}

C_f＝C_fY{(t₁，t₂)|t₁∈f(χ₁)，t₂∈f(χ₂)}

Nt1,t2=Nt1,t2+1,∀t1∈f(χ1),∀t2∈f(χ2)]]>

⑤重复步骤③、步骤④，直至对C_χ中的每个(χ₁，χ₂)，若将(χ₁，χ₂)合并成一条特征轨迹；

⑥重复步骤②～步骤⑤，直至M中所有元素值均小于0.2M_max。