[发明专利]基于图像序列的大型构件三维重建方法

权利要求书

1.基于图像序列的大型构件三维重建方法，包括以下步骤：

S1、使搭载有相机的无人机绕目标构件飞行，获得待重构的图像序列；

S2、采用SIFT算法和SURF算法联合提取图像特征点；结合关联度预匹配与层级哈希检索方式来进行特征匹配，关联度预匹配剔除匹配度低于预设特征点阈值的两幅图像的特征匹配；

其主要步骤如下：

①、对图像对图I₁、图I₂提取角点，分别得到M₁和M₂个特征点；

②、当匹配次数M₁×M₂小于阈值M，则直接进行两两匹配；否则进行预判断；

③、图I₁对图I₂匹配：取出SIFT角点M_SIFT个和SURF角点M_SURF个于图I₂中寻找对应匹配点，若匹配个数N_SIFT1和N_SURF1大于阈值n₁和n₂，则进行下一步匹配；否则跳过该图像对的匹配；

④、图I₂对图I₁匹配与3同理，先取出SIFT角点M_SIFT个，SURF角点M_SURF个于图I₁中寻找对应匹配点，若匹配个数N_SIFT2和N_SURF2大于阈值n₁和n₂，则需要对图I₁与图I₂进行完全匹配；否则跳过该图像对匹配；

基于层级哈希检索的匹配其主要步骤如下：

①图像特征描述子归一化

为对图像集I中所有图像进行统一关联，且在后续将描述子转换为二进制，此处对所有特征点描述子去均值归一化，将所有描述子的取值范围变为[-0.5,0.5]；由于本文利用了SIFT和SURF两种算法，故此处需将两者分别进行特征描述子的处理；

②、描述子二值化

先通过std::normal_distribution用均值为0，方差为1的正态分布函数生成n×n维矩阵，而后将其与步骤1中归一化后的n维描述子向量[D₀,D₁,…,D_n]相乘，取得n维的向量值[C₀,C₁,…,C_n]，而后n位的二进制码中每一位d_i可由式(3-15)计算得到：

此处对于流程中n值，若为SIFT角点则取值128，若为SURF角点取值为64；

③、哈希映射

为减少候选匹配的角点数量，仅与相似度高的特征点匹配，此处通过哈希映射将相似性高的特征点映射到一个桶中，从而使得待匹配点仅与落在同一个桶中的候选匹配点进行匹配；

1)利用std::normal_distribution函数构建l×k×n维矩阵；其中：l表示构建的l张哈希表，k表示映射后的二进制编码位数为k位，即k个哈希函数；

2)矩阵相乘：将n维的二进制描述子与每张哈希表对应的k×n矩阵相乘得k维的向量值[C₀,C₁,…,C_k]；

3)二值化处理：可由式(3-15)，对向量值二值化，获得k位二进制编码；

4)桶分配：k位二进制编码对应2^k个桶，故而对于每张哈希表，一个特征点都将分配到2^k个桶中一个；一个特征点在l张哈希表中，将被分配到l个桶中；最终只需取出与待匹配点落在同一桶中的候选匹配点进行匹配便可；

④、最近邻哈希排序

为加快匹配搜索速度，此处开辟长度为2^k的vector，在汉明空间中遍历计算候选点二进制描述子与待匹配点二进制描述子的距离，按照距离的大小存放到对应的vector空间中，再根据设定的阈值K，按距离从小到大依次取前K个邻近点；通过两者欧式距离的计算来确定最终描述子间的距离，取其中的距离最小值a与次小值b的两个邻近特征点，若两者比值c＝a/b大于一定的阈值C则匹配成功，储存该匹配对，反之跳过；

S3、基于SIFT角点与SURF角点得到的稀疏特征点，通过计算本质矩阵和基础矩阵估计相机运动，注册三维空间点获得三维场景的稀疏点云；对稀疏点云进行捆绑调整优化；

S4、判断优化后的稀疏点云是否存在对称重复结构，若存在，则利用图像间的背景差异点对重建结果进行矫正，获得矫正后的稀疏点云；若无对称重复结构，则获得稀疏点云；

S5、以稀疏点云作为种子点与参考图像输入，基于多视图的稠密三维点构建方法进行稠密重建，获得低分辨率的深度图；以低分辨率的深度图作为输入，再基于多视图的稠密三维点构建算法进行稠密重建，获得高分辨率的稠密点云；基于稠密点云进行表面模型的构建，获得三维重建结果。