[发明专利]基于移动平台拍摄的序列图像快速三维重建方法

摘要

本发明公开了一种基于移动平台拍摄的序列图像快速三维重建方法，主要解决了现有三维重建方法处理速度慢的问题，其实现方案是：1.利用移动平台拍摄场景目标的序列图像，在拍摄图像的同时记录移动平台中微惯性传感器输出的数据；2.对序列图像进行SIFT特征点检测与匹配得到序列图像特征点匹配集合；3.利用微惯性传感器数据计算移动平台拍摄图像时姿态矩阵与位置信息；4.由姿态矩阵与位置信息求解图像序列对应的投影矩阵；5.根据序列图像特征点匹配集合与对应的投影矩阵计算场景中三维点坐标，完成序列图像三维重建。本发明提高了运动恢复结构SFM三维重建的速度，可用于室内外场景三维重建。

主权项

1.基于移动平台拍摄的序列图像快速三维重建方法，包括：(1)利用移动平台拍摄场景目标序列图像，并对采集的序列图像进行编号，分别记为{I1,I2...Ij...IM}，其中Ij为第j幅图像的编号，1≤j≤M，M为拍摄图像的总个数；(2)在拍摄目标序列图像的过程中，记录第i个采样点时移动平台的微惯性传感器中加速度计输出数据a_i、磁力计输出数据m_i和陀螺仪输出数据ω_i，其中i＝1,2...N，为总的采样点数，H为拍摄序列图像时所用的总时间，Δt为移动平台微惯性传感器的采样间隔；(3)对移动平台采集的序列图像{I1,I2...Ij...IM}通过尺度不变特征变换SIFT进行特征点检测与匹配，得到序列图像的特征点匹配集合NA＝{NA1,2,NA1,3...NAk,l...NAM‑1,M}，其中NAk,l表示第k幅图像与第l幅图像之间的匹配特征点集；(4)恢复移动平台拍摄图像时的位姿信息：(4a)利用记录的传感器数据ai,mi,ωi通过互补滤波算法计算移动平台在第i个采样点时的姿态矩阵R(i)；(4b)利用加速度输出数据ai检测移动平台拍摄图像时所对应的采样点，分别记为t1,t2...tj...tM，其中tj为拍摄第j幅图像时所对应的采样点；(4c)利用移动平台的姿态矩阵R(i)与其拍摄图像时所对应的采样点t1,t2...tj...tM，得出移动平台在拍摄图像时所对应的姿态矩阵R(t1),R(t2)...R(tj)...R(tM)，其中R(tj)表示移动平台在拍摄第j幅图像时对应的姿态矩阵；(4d)利用移动平台拍摄图像时所对应的采样点t1,t2...tj...tM、姿态矩阵R(i)和记录的加速度数据ai通过零速修正算法恢复移动平台拍摄图像时的位置信息S(t1),S(t2)....S(tj)...S(tM)：(4d1)将加速度计输出数据ai代入到由载体坐标系下加速度到地理坐标系下加速度的转换公式：Acci＝R(i)Tai中，得到在第i个采样点时地理坐标系下加速度的值Acci，1≤i≤N，R(i)T表示在第i个采样点姿态矩阵R(i)的转置；(4d2)利用地理坐标系下加速度的值Acci计算在第i个采样点时移动平台的速度：v(i)＝v(i‑1)+Acci·Δt，其中v(i‑1)为第i‑1个采样点时移动平台的速度，Δt为移动平台微惯性传感器的采样间隔；(4d3)利用移动平台拍摄图像时所对应的采样点t1,t2...tj...tM将拍摄目标序列图像的过程分为M个子过程，修正第i个采样点时的速度v(i)，使每个子过程结束时移动平台的速度为零，当第i个采样点属于第j个子过程时，第i个采样点修正后的速度vc(i)为：(4d4)利用修正后的速度vc(i)计算拍摄目标序列图像过程中第i个采样点时移动平台的位置：S(i)＝S(i‑1)+vc(i)·Δt，其中S(i‑1)为第i‑1个采样点时移动平台的位置；(4d5)将移动平台拍摄图像时所对应的采样点t1,t2...tj...tM代入到移动平台的位移S(i)中得到移动平台拍摄图像时的位置信息S(t1),S(t2)....S(tj)...S(tM)，其中S(tj)表示移动平台拍摄第j幅图像时的位置信息；(5)重建三维场景目标：(5a)以编号为I1的图像所对应的相机坐标系作为三维重建过程中的参考坐标系；(5b)利用移动平台的姿态矩阵R(t1),R(t2)...R(tj)...R(tM)与位置信息S(t1),S(t2)....S(tj)...S(tM)计算编号为Ij的图像在参考坐标系下的相机投影矩阵φj,1≤j≤M；(5c)根据相机投影矩阵φj，利用三角化方法重建出图像对{I1,I2}的匹配特征点集NA1,2所对应的三维点，并将图像I1,I2标记为已使用；(5d)选择未使用图像中编号最小的一幅图像，并从特征点匹配集合NA中找出该图像与已使用的图像中编号最大的图像的匹配特征点集，根据相机投影矩阵φj，利用三角化方法重建该匹配点集对应的三维点，并将该图像标记为已使用；(5e)重复步骤(5d)直到所有的图像序列都已经使用，完成序列图像的三维重建。