[发明专利]基于时变和无序多图像的四维场景建模方法

权利要求书

1.一种基于时变和无序多图像的四维场景建模方法，其特征在于步骤如下：

步骤1：采用SIFT算法对N幅数字图像提取SIFT局部不变特征，形成N个图像 特征集；

步骤2：建立任意两幅图像的相似度度量

Sim(Ix,Iy)=nmatchmin{nIx,nIy}*Σi=1nmatchf(i)]]>

其中x＝1，...，N，y＝1，...，N，x≠y，和分别表示图像I_x和I_y的特征集大小， n_match表示匹配的特征点数目，1/min{n_A，n_B}是自适应系数项，f(i)表示第i对匹配特 征的相似度值，f(i)＝d_i2/d_i1，其中d_i1和d_i2分别表示第i个特征到其最近邻特征和次 近邻特征的距离；

步骤3：随机取出N个图像特征集合中的任一幅图像I_x，x＝1，...N作为种子图像， 以该幅图像的特征集与所有图像采用BBF方法进行试探匹配，将Sim(I_x，I_y)大于阈值 α的图像建立图像集合T_k，k＝1，...，所述的α＝1；

步骤4：在图像集合T_k中选取与种子图像I_x满足相似度Sim(I_x，I_y)在[α，β]的图像 I_y，y＝1，...M，当I_y与图像集合T_k中的任一幅图像的相似度不大于β时，该图像作为 新的种子图像；重复本步骤，直至得到所有新的种子图像；

步骤5：重复步骤3～4，直至N个图像特征集合中的所有图像均已被分组；

步骤6：采用最小生成树组织分组内的图像，并对组内Sim(I_x，I_y)大于α的图像采 用RANSAC方法去除外点得到单应矩阵或基础矩阵；以单应矩阵或基础矩阵为向导， 增加匹配点对，为摄像机标定准备基础数据；

步骤7：利用SFM算法计算步骤6得到的每个图像分组的三维点集合和摄像机参 数；

步骤8：利用混合高斯模型和EM算法对每个图像分组的三维点集合进行分割， 得到三维空间中不同位置的子集S，S＝{s_i|i∈1...k}，k表示分割得到的子集数量；

步骤9：利用SFM算法中得到的三维点-图像关联矩阵对每个子集进行进一步分 割，提取出每个单独的建筑；三维点-图像关联矩阵表示了各个三维点在每幅图像中的 可见性；首先采用重投影方法判断每个建筑在各幅图像中是否可见，得到建筑-图像关 联矩阵V，若建筑i在图像j中可见，则V_ij＝1，否则V_ij＝0，V_i为V中第i行元素，表示 建筑i的可见向量；对于包含建筑b_m，b_m+1，…，b_n的子集s_i，将s_i中每个三维点x_j在三维点 -图像关联矩阵的对应行向量V_j与相应建筑的可见向量分别进行相似度计 算，相似度为两个向量间的欧式距离，选择距离最小的建筑序号作为该三维点的所属 类别，将s_i分割为不同建筑的集合B_m，B_m+1，…，B_n；

步骤10：利用z-buffer算法对每幅图像中不可见的建筑的类别进行划分，得到VM 矩阵，VM_ij表示建筑i在图像j中的可见性：若建筑i在图像j可见，VM_ij＝1；若建筑i的 重投影点的二维坐标超出了图像j的范围，VM_ij＝0；若重投影点二维坐标在图像j范 围内而又没有图像特征点与之对应，进一步判断该建筑是被遮挡还是不存在；对任意 图像j进行如下步骤：

步骤a：对于图像j中可见的建筑，利用格雷厄姆扫描法得到其重投影二维点集合 的凸包；

步骤b：生成与图像j分辨率相同的8位灰度图像，颜色置为黑色；对凸包内部的 区域用白色进行填充，保存填充完成的掩膜图像记为mask_j；

步骤c：对于任意建筑物，计算其包含的三维点的深度信息，求取深度信息的平均 值，将平均值作为对应凸包区域内部像素的深度信息；利用z-buffer算法计算掩膜图 像mask_j中每个像素的深度信息；

步骤d：对于图像j中尚未确定类别的建筑i，计算其重投影二维点集合中超出图 像范围的点的个数与深度小于mask_j中对应像素深度的点的个数之和Ns，进一步计算 Ns在建筑i包含的三维点总数N中所占比例R，如果R小于0.1，判断建筑i被遮挡， VM_ij＝0；否则建筑i不存在，VM_ij＝-1；

步骤11：利用局部搜索算法对VM矩阵列的顺序进行调整，得到图像时间序列； VM矩阵需要满足约束：当矩阵中任意一行出现1…-1…1模式，进行调整步骤如下：

步骤a：计算初始VM矩阵中违反约束的元素个数；

步骤b：对VM矩阵每两列进行临时交换，计算交换后的VM矩阵中违反约束的 元素个数，选择违反约束个数最小的临时交换作为最终交换；

步骤c：重复步骤11中的步骤b，直至矩阵中的所有行都满足约束，最终VM的 列顺序即为图像的时间序列；如果陷入局部最优，则转步骤11中的步骤a，重新随机 生成VM矩阵的列的初始顺序；

步骤12：将调整后的VM矩阵以列为单位进行聚类，得到不同时期的三维场景并 组合得到四维场景，基本步骤如下：

步骤a：将以VM矩阵的第一列作为一个新类；

步骤b：从VM矩阵的第二列开始，依次对每一列进行判断；若该列和某个类中的 列一致，则将其加入该类；否则以该列生成另一个新类；列i与列j一致的定义如下： 若列i中取值为1的元素在列j中对应的元素取值不为-1，则两列一致；

聚类完成后，每个类中包含的建筑物的三维点集合就是该历史时期的三维重建结 果，而整个时间上连续的三维重建结果集合就是最终的四维场景重建结果。

2.根据权利要求1所述的基于时变和无序多图像的四维场景建模方法，其特征在于

所述试探匹配为：采用图像I_x建立索引结构H，以图像I_y的特征集R去匹配，具 体试探匹配步骤如下：

步骤1.将R中的所有个特征的顺序随机打乱；

步骤2.取出R前n_p个特征，其中，采用BBF算法在索引结构H中 搜索，根据权利要求1的步骤2中定义的相似度度量公式，得到前n_p个特征的相似度 Sim_p，并根据

Sim(Ix,Iy)=Simp*nIy/np]]>

计算出全局相似度；

步骤3.当Sim(I_x，I_y)小于相似度阈值α时，α＝1，停止匹配；否则，从R再取出n_p个特征继续匹配，并重新计算Sim_p和Sim(I_x，I_y)；重复步骤3，直到R所有特征都被计 算或者匹配过程被停止。