[发明专利]基于无人机航拍序列图像的树木三维重建方法

摘要

本发明公开了一种基于无人机航拍序列图像的树木三维重建方法，首先通过分水岭分割方法提取树冠的特征区域，然后通过计算RGB颜色空间中的区域相关系数来匹配特征区域并提取匹配特征点对，再结合航拍摄像机的成像模型，通过双目立体视觉原理计算深度信息，最后通过L系统规则构建树木的三维模型。与现有技术相比，本发明考虑了树冠的纹理、颜色以及轮廓信息，充分提取出能反映树冠复杂结构的特征点集合。并且，考虑到无人机航拍过程中，摄像机存在的抖动、平移等，针对航拍摄像机复杂的成像模型来计算特征点集合的深度信息，并采取了合理的树木建模方法，构建出树木的合理的近似三维模型。

主权项

1.一种基于无人机航拍序列图像的树木三维重建方法，其特征在于，该方法包括以下步骤：步骤一、对无人机航拍获得的两张相邻的树木序列图像，从中分别截取大小相同同一树冠图像一、树冠图像二，用grabcut算法去除背景，仅保留树冠区域；步骤二、对去除背景的树冠图像一，使用分水岭分割算法做分割，得到明暗区域划分，计算每个分割区域的形心作为在树冠图像一上提取的特征点；步骤三、计算树冠图像一各特征点在RGB颜色空间下的特征区域与树冠图像二的特征区域的相关系数c_ij＝Rc_ij+Gc_ij+Bc_ij其中，Rc_ij，Gc_ij，Bc_ij表示以R、G、B三个分量分别计算区域相关系数；Rcij=Σk=-wnwnΣl=-wmwm{[R1(ui(I)+k,vi(I)+l)-R‾1(ui(I),vi(I))]×[R2(uj(II)+k,vj(II)+l)-R‾2(uj(II),vj(II))]}nσi2(R1)×σj2(R2)]]>Gcij=Σk=-wnwnΣl=-wmwm{[G1(ui(I)+k,vi(I)+l)-G‾1(ui(I),vi(I))]×[G2(uj(II)+k,vj(II)+l)-G‾2(uj(II),vj(II))]}nσi2(G1)×σj2(G2)]]>Bcij=Σk=-wnwnΣl=-wmwm{[B1(ui(I)+k,vi(I)+l)-B‾1(ui(I),vi(I))]×[B2(uj(II)+k,vj(II)+l)-B‾2(uj(II),vj(II))]}nσi2(B1)×σj2(B2)]]>其中，和分别为是树冠图像一、树冠图像二中第i和第j个特征点；wn、wm分别为滑动窗口的半长和半宽，n为窗口中的像素点个数，R₁(u_i，v_i)、G₁(u_i，v_i)、B₁(u_i，v_i)和R₂(u_i，v_i)、G₂(u_i，v_i)、B₂(u_i，v_i)分别为树冠图像一、树冠图像二上点(u_i，v_i)的R、G、B三个分量的值，σ_i、σ_j分别为两幅图像中第i和第j个特征点的图像滑动窗口内的标准差，其中，图像的各分量均值计算如下式：R分量均值为：R‾(u,v)=1nΣk=-wnwnΣl=-wmwmR1(u+k,v+l)]]>G分量均值为：G‾(u,v)=1nΣk=-wnwnΣl=-wmwmG1(u+k,v+l)]]>B分量均值为：B‾(u,v)=1nΣk=-wnwnΣl=-wmwmB1(u+k,v+l)]]>图像的各分量的图像滑动窗口内的标准差计算如下式：R分量的图像滑动窗口内的标准差：σ(R)=1nΣk=-wnwnΣl=-wmwmR2(u+k,v+l)-R‾2(u,v)]]>G分量的图像滑动窗口内的标准差：σ(G)=1nΣk=-wnwnΣl=-wmwmG2(u+k,v+l)-G‾2(u,v)]]>B分量的图像滑动窗口内的标准差：σ(B)=1nΣk=-wnwnΣl=-wmwmB2(u+k,v+l)-B‾2(u,v)]]>在树冠图像二中找到树冠图像一特征区域的匹配区域，以匹配区域对的形心作为匹配特征点，通过最相关和次相关比例法去除误匹配点，具体步骤如下：以树冠图像一的分水岭分割的每个区域的外接矩形作为该区域匹配时的窗口大小；以同样大小的窗口在树冠图像二上扫描，按上述计算方法计算两幅图像上窗口区域内的RGB区域相关系数，记录得到的最大相关系数和次大相关系数；计算最大相关系数和次大相关系数的比例k，设定一个k的阈值K，如果k>K，则把该匹配认为是误匹配舍弃，否则，认为该匹配正确并接受；通过上步得到的两幅树冠图像上的匹配区域对，计算他们的形心作为匹配得到的匹配特征点对；步骤四、通过计算机立体视觉原理，对图像的特征点集合的一系列计算获得图像特征点的三维信息，包括直接获得图像的特征点的二维参数和计算得到的深度参数，深度参数的计算包括三步，即确定航拍摄像机的成像模型，即摄像机的内外参数；通过摄像机成像模型，确定从二维点到三维点的映射关系；通过映射关系获取图像的三维点集合；步骤五、从三维点集合获取树木的骨架信息，包括以下处理：（1）找到Z坐标最高点，并且找到最高点和最低点的dz，dz作为树高，把最高点所在的垂直轴作为树的中心主干，其深度为1，加入树干集合TrunkList，并把最高点加入树干点集IncludePoints；（2）扫描不在IncludePoints集合中的特征点，找到当前点集中离树干集合距离最小的点p_i以及相应的树干t_i，限制t_i的深度不超过6，并且，分支数不超过3；（3）从该树干t_i向点p_i引出一个新的树干t_new与ti的夹角为30°，t_new的深度为t_i的深度加1（限制树的最大深度不超过4），加入TrunkList时插入t_i后面，并把点p_i加入已有树干包含的点集合IncludePoints；（4）回到（2），直到所有三维散点都在IncludePoints集合中为止；将上述获得的骨架信息，利用L系统规则，首先根据得到的骨架信息生成L系统语言的编码串，并读入编码串构建树木的骨架结构，并在枝干上加上叶子形成完整的三维树木模型。