[发明专利]一种基于优化的三维重建的快速图像拼接方法

权利要求书

1.一种基于优化的三维重建的快速图像拼接方法，其特征在于，包括以下步骤：

步骤1、提取n幅输入图像的灰度图；

步骤2、采用快速鲁棒性特征算法对每幅图像特征点进行检测，生成图像描述子X，其中X＝(x₁,x₂...,x₆₄)；所述图像描述子为64维向量，生成步骤如下：

步骤2.1、选取像素点l(x,y,σ)并构建海森矩阵如下：

其中σ为像素点尺度，L_xx(x,σ)、L_xy(x,σ)、L_yy(x,σ)是x点处高斯函数二阶偏导数和图像的二维卷积；

步骤2.2、将经过海森矩阵处理过的每个像素点I(x,y,σ)，即获得每个像素点海森矩阵的判别式的值，与图像内3*3*3的立体邻域内的其他26个像素点比较海森矩阵判别式的值大小；当像素点I对应的海森矩阵的判别式值为最大值时，保留该像素点作为初步特征点；当像素点I对应的海森矩阵的判别式值为最小值时，保留该像素点作为初步特征点；

步骤2.3、采用Haar小波确定特征点的主方向；以步骤2.2中选取的特征点为中心，6S为半径为范围，用半径长为4S的Haar小波计算在z,y方向的小波响应，其中S代表特征值的尺度值；对所述小波响应进行加权，用于保证靠近特征点的响应影响大，远离特征点的响应影响小；用扇形在圆内扫描，计算扇形内的响应总和，选择最长矢量方向为该特征点的主方向；

步骤2.4、构造特征描述子；以特征点为中心选取正方形框，所述正方形框边长为20S，正方形框方向为步骤2.3中选取的特征点主方向；将正方形框分为16个子区域，分别统计像素点相对于特征点主方向水平及垂直方向的Haar小波特征∑dx、∑dy、∑|dx|、∑|dy|，将上述值作为每个子区域的特征向量，得到4*4*4＝64维向量作为特征描述子，即为X＝(x₁,x₂...,x₆₄)；

步骤3、采用最邻近搜索的方式，对一组图像I、J的所有特征点F(I)，F(J)，对于每一个特征点f∈F(I)，找到最近邻点f_nn∈F(J)，其中，

距离采用欧式距离(x₁,x₂,...x₆₄),(x₁’,x₂’...x₆₄’)为待匹配的两个特征点的快速鲁棒性特征向量；当最近邻与次近邻的欧式距离D之比小于固定阈值时，判定f和f_nn为可接受的匹配对；获取特征点匹配点集合C；

步骤4、使用RANSAC算法，消除误差匹配，获得较为准确的图像匹配对，具体步骤如下：

步骤4.1、从步骤3中获取特征点匹配点集合C，随机挑选4组匹配点建立约束方程

m'Fm＝0

其中m和m’分别对应一组图像中的一对正确的匹配点，F为该组图像中二维特征点之间的单应矩阵；

步骤4.2、将特征点m通过矩阵F映射至本视图中，获取映射点m”,计算映射点m”与原始匹配结果m’的欧式距离d；

步骤4.3、预设阈值α，将d与阈值α对比，当dα时,则将该点归为内点集，当d≥α时，将该点归为外点集，其中内点集元素个数为n；

步骤4.4、计算并判断当前内点数n'是否大于最优内点数N，其中N初始值为0，当n'N时，更新N＝N+1，实现迭代，将当前变换矩阵转置为最佳矩阵估计，同时更新迭代次数k，如下：

其中p为置信度，取p＝0.995；w为内点的比例，m为计算所需的最少样本数，取m＝4；

步骤5、从图像序列匹配对中寻找两幅图像作为三维重建过程的初始输入，可以得到初始的三维点云结构；所述两幅图像满足如下条件：

(1)匹配内点个数不少于100个；

(2)作为初始输入的两幅图像是所有图像序列匹配对中匹配内点占比最低的；

步骤6、在计算完初始输入的两幅图像，并重建三维点之后，添加新的图像作为输入，通过新的图像与已计算图像中特征点的匹配，计算新的图像与已计算图像之间的旋转矩阵，获取两幅图像之间的关系，确定新图像中各特征点在三维结构中的空间坐标；通过光束平差法来消除误差的积累；当所有图像添加完毕后，可以得到各个相机的参数估计以及场景的稀疏三维点云；

步骤7、将步骤6中生成的点云结构和图像序列作为输入，通过多视图立体视觉算法，将点云滤除杂点，网格化，最终产生密集的点云重构，并生成多边形网格表面；

步骤8、将步骤7中获取的密集点云和步骤6中获取的影像姿态参数作为输入，通过影像微分纠正，得到每幅影像对应的正射影像的分辨率以及在X、Y维度上对应的空间覆盖范围，从而实现影像的拼接；其中步骤6中获取的影像姿态参数包括，相机内参和影像的旋转矩阵以及影像坐标系和空间坐标系之间的偏移相量。