[发明专利]一种用于无人机的河道线检测系统与方法

权利要求书

1.一种用于无人机的河道线检测系统，无人机将图像传输至地面站，由地面站进行图像处理工作，地面站再将处理结果通过数据传输装置，回传给无人机的飞控，从而完成功能；其特征在于：该系统包括无人机(10A)、数据传输模块(20A)、图像传输模块(30A)和地面站(40A)，无人机(10A)通过数据传输模块(20A)与地面站(40A)进行交互，地面站(40A)通过图像传输模块(30A)与无人机(10A)进行交互；

无人机(10A)包括飞行控制模块(11A)和图像采集模块(12A)，飞行控制模块(11A)与数据传输模块(20A)相交互，图像采集模块(12A)与图像传输模块(30A)相交互；飞行控制模块(11A)的作用是控制无人机飞行姿态，图像采集模块(12A)的作用是通过摄像头采集图像；

数据传输模块(20A)的作用是将地面站所产生的参数通过射频无线通信得到方式发送给无人机的飞行控制模块(11A)；

图像传输模块(30A)的作用是将无人机图像采集模块(12A)采集到的图像传输给地面站(40A)，地面站(40A)即为PC端；

地面站(40A)包括图像处理模块(42A)和参数计算模块(41A)，参数计算模块(41A)与数据传输模块(20A)相交互，图像处理模块(42A)与图像传输模块(30A)相交互；参数计算模块(41A)的作用是根据图像处理后的图像计算河道中心坐标，以及无人机的偏差值；图像处理模块(42A)的作用是处理图像传输模块回传的图像数据，确定河道线的位置；

由无人机(10A)架设的图像采集模块(12A)对河道图像进行采集，获取原始图像R，然后通过图像传输模块(30A)将采集到的图像R发送到地面站(40A)；再由地面站的图像处理模块(42A)对图像R进行图像处理操作，然后将处理后的图像在参数计算模块(41A)中进行无人机偏差值的计算；最后由数据传输模块(20A)将无人机偏差值的数据回传到无人机(10A)的飞行控制模块(11A)，该模块中的算法根据返回值调整无人机飞行姿态，从而完成无人机自动调整至河道中心的功能。

2.利用权利要求1所述检测系统进行的一种用于无人机的河道线检测方法，其特征在于：该方法的实施流程如下：

S1、从地面站接收端即地面站(40A)接收到无人机回传的原始图像R，图像宽度为W，图像高度为H，对图像进行二值化处理得到二值化图像R1；

S2、针对上述二值化图像R1进行边缘检测处理；边缘检测处理使用Canny方法，Canny边缘检测的具体操作如下：

S2.1、将二值化图像R1与高斯平滑滤波器进行卷积；

S[i,j]＝G[i,j；σ]*I[i,j] (1)

在(1)式中，S为二值化图像与高斯平滑滤波器卷积后的图像矩阵，G为高斯平滑滤波矩阵，I为二值化图像矩阵；i，j分别为矩阵的行号和列号，即S[i，j]为S矩阵中第i行第j列的元素；σ为高斯平滑滤波器的宽度参数，σ越大其作用域就越宽，即平滑窗口越大，因而平滑的力度就越大，其结果使得图象变得越模糊；

S2.2、使用一阶有限差分计算偏导数的两个阵列P与Q；

P[i,j]≈(S[i,j+1]-S[i,j]+S[i+1,j+1]-S[i+1,j])/2Q[i,j]≈(S[i,j]-S[i+1,j]+S[i,j+1]-S[i+1,j+1])/2---(2)]]>

在(2)式中，P为横向一阶偏导矩阵，Q为纵向一阶偏导矩阵，S为(1)式中的运算结果，即二值化图像与高斯平滑滤波器卷积后的图像矩阵；i，j分别为矩阵的行号和列号；

S2.3、幅值和方位角；

M[i,j]=P[i,j]2+Q[i,j]2θ[i,j]=arctan(Q[i,j]/P[i,j])---(3)]]>

在(3)式中，M为像素点的梯度值矩阵，θ为像素点的梯度方向矩阵，P、Q为(2)式中的结果，即P为横向一阶偏导矩阵，Q为纵向一阶偏导矩阵；

S2.4、非极大值抑制(NMS)：细化幅值图像中的屋脊带，即只保留幅值局部变化最大的点；将梯度角的变化范围减小到圆周的四个扇区之一，方向角和幅值分别为；

ξ[i,j]=Sector(θ[i,j])N[i,j]=NMS(M[i,j],ξ[i,j])---(4)]]>

在(4)式中，ξ为新的梯度方向矩阵，Sector函数的功能是根据参数矩阵元素的大小，形成一个元素数量相同，但是只有四种取值的矩阵，θ为(3)式中的结果，即为像素点的梯度方向矩阵；

S2.5、用双阈值算法检测和连接边缘；

上述Canny算法中减少假边缘数量的方法是采用双阈值法；选择两个阈值，根据高阈值得到一个边缘图像，这样一个图像含有很少的假边缘，但是由于阈值较高，产生的图像边缘可能不闭合，未解决这样一个问题采用了另外一个低阈值；在高阈值图像中把边缘链接成轮廓，当到达轮廓的端点时，该算法会在断点的8邻域点中寻找满足低阈值的点，再根据此点收集新的边缘，直到整个图像边缘闭合；

上述边缘检测处理步骤422A结束后，得到边缘特征图像R2；

S3、对边缘检测结果图像R2进行邻域扩充步骤423A；

由于河道线经常是参差不齐的，并且伴有不规则的干涸的河床或者是浮草，使得河岸线的直线特征不明显，导致河道线边缘检测结果经常是不连续的；

为了方便后续河道线抽取处理，采取将不连续或者直线特征不明显的边缘部分扩充的方法来补充河道线；具体步骤为：

针对对上述边缘特征图像R2进行24邻域扩充操作，将检测出来的边缘点周围24个像素点进行填充，使得边缘检测结果看起来更加完整；邻域扩充后的图像存在更多更好的直线特征；

邻域扩充选择8、24等邻域进行扩充：扩充邻域的原则为(2n-1)^2-1，n＝2,3,4……，确保对边缘进行均匀扩充，选择使用24邻域扩充进行展示；由于邻域扩充不会给直线河道线带来负面影响，所以直线河道也进行邻域扩充；最后，得到24领域扩充后的边缘特征图像R3；

S4、针对图像R3进行霍夫变换；

S4.1、预处理

针对上述边缘特征图像R3；首先设定图像空间，I(x,y)作为图像空间的载体，进行图像预处理；图像边缘用白色像素表示，然后遍历图像中的每一个像素点；

S4.2、霍夫变换

图像空间中，将每个像素的x和y坐标转换为x cosθ+ysinθ＝ρ，θ为0到180范围内任意整数角度值，通过对每个θ值的遍历，计算出相对应的ρ值，此时将图像空间的像素x,y参数转换成θ、ρ值存放于参数空间；

S4.3、参数空间累加

建立细分后的参数空间用矩阵Hough[ρ][θ]代表；ρ是图像空间中直线到原点的截距，r是图像空间对角线上的像素数，所以ρ范围应在[0，r]之间；θ取[0，180]且为整数；Hough[ρ][θ]是一个大小为r×180的二维矩阵，经过变换后的每个参数空间对应点都对应一个Hough[P][θ]，然后让Hough[P][θ]++；

S4.4、检索极值

累加完成后，通过对Hough[ρ][θ]的所有点进行比较；获取最大值，并且记录相应的ρ和θ值，这里选择的点就位于与图像空间的大量像素点形成的直线上；然后设置一个阈值，判断是否有足够的像素在该条直线上；

S4.5、反馈信息

通常完成检测后，把检测得到的直线θ和ρ值用来构成方程后，得到最终直线方程，然后绘制到原图像中；这样可以更方便及时的检查结果的正确性和精度；

最后得到霍夫变换后的图像R4；

S5、确定河道线

从图像R4中的直线候补信息中，确定代表河道线的直线；河道线霍夫变换的特征中，最接近中间虚线的两条线是河道线，根据直线的斜率特征，确定这两条线的斜率是从正负两个方向最接近90度的；最后，得到两条河道线所对应的直线line1和line2；

S6、参数计算模块(41A)工作原理：

根据上述直线line1和line2的γ和θ参数，确定两条直线对应的方程式；

γ＝xcosθ+ysinθ (5)

在(5)式中，γ为霍夫变换产生的截距，θ为霍夫变换产生的倾斜角，x为在图像上的横坐标，y为在图像上的纵坐标；

y值为图像R3的高度，即y＝H，根据这三个已知信息得到两条直线对应的x值，就是河道线对应的x值，然后进行(x1+x2)/2的计算，得到河道中心坐标river＝(x1+x2)/2；因为无人机摄像头的方向是朝前下方的，所以程序中所求得的河道中心坐标是无人机前方将要到达的河道的中心位置。