[发明专利]一种基于无人机视觉的沿山区公路自主巡检系统

权利要求书

1.一种基于无人机视觉的沿山区公路自主巡检系统，其特征在于，包括：

若干无人机，所述的无人机搭载有摄像机和无人机循迹飞行模块，所述的无人机循迹飞行模块基于无人机上摄像机实时采集的图像数据，通过检测算法得到山区公路的车道线，基于所得到的车道线，控制无人机沿山区公路巡迹飞行；无人机循迹飞行模块将无人机的位置、姿态、图像视频数据上传到数据中心；

病害检测评估模块，所述病害检测评估模块设置在基站，其根据数据中心中无人机上摄像机采集的图像视频数据，进行基于深度学习的公路病害定位及基于迁移学习的公路病害分类评估，得到公路病害定位和分类结果上传到数据中心；

数据中心，其用于存储无人机的位置、姿态、图像视频数据，以及公路病害定位和分类结果数据；

山区公路巡检可视化模块，所述山区公路巡检可视化模块设置在基站，其通过合作地图API，加载嵌入的地图界面，通过调用相应的API接口来实现地图控件、覆盖物、滚动缩放以及地图类型转换；山区公路巡检可视化模块获取数据中心存储的数据，实现视频及图像回放、病害可视化显示，并通过数据实时更新实现无人机实时动态轨迹显示。

2.根据权利要求1所述的基于无人机视觉的沿山区公路自主巡检系统，其特征在于，所述的无人机循迹飞行模块基于无人机上摄像机实时采集的图像数据，通过检测算法得到山区公路的车道线，具体为：

1)无人机上摄像机实时采集山区公路的图像数据，对摄像头采集的图像数据进行去畸变和视觉增强；

2)利用Sobel算子提取图像梯度信息，将图像转换成HLS通道提取颜色信息，将梯度信息和颜色信息叠加，得到车道线所对应的像素所在位置；

3)对图像进行透视变换，变成鸟瞰视角；

4)利用滑动窗口定位车道线；

5)将车道线检测结果反投影到原图。

3.根据权利要求2所述的基于无人机视觉的沿山区公路自主巡检系统，其特征在于，所述的步骤4)具体为：

4.1)定位滑窗左右两条车道线的搜寻起始点

首先，划分搜素区域，按照x轴方向将图像一分为二，划分为左右两个部分；然后，对二值图像两个部分在x方向做直方图统计，定位峰值作为左右两条车道线的搜寻起点；设置搜寻窗口的大小，即设置width和height；

4.2)搜寻过程

以搜寻起始点作为当前搜寻的基点，并以当前基点为中心，做网格化搜寻；其次，对每个搜寻窗口分别做水平和垂直方向直方图统计，统计在搜索框区域内非零像素个数，并过滤掉非零像素数目小于50的框；最后，计算非零像素坐标的均值作为当前搜索框的中心，并对这些中心点做一个二阶的多项式拟合，得到当前搜寻对应的车道线曲线参数；

4.3)更新搜寻基点

步骤4.2)中，二阶多项式逼近后，会得到一个曲线方程：ay²+by+c＝x，令y＝img.height，得到新的搜寻基点；重复步骤4.2)的搜寻过程，得到新的搜寻基点对应的车道线曲线参数；4.4)如果n个步长中均存在曲线，即已经得到n个曲线方程，即，则n个曲线方程中断开，即每三个曲线选取其中两个；然后，将曲线方程离散化后的坐标点取均值，再做二阶多项式逼近，得到车道线。

4.根据权利要求1所述的基于无人机视觉的沿山区公路自主巡检系统，其特征在于，所述的基于所得到的车道线，控制无人机沿山区公路巡迹飞行，具体为：

对获取的车道线数据进行离散化；根据离散化的数据形成控制点；然后获取当前无人机位置与控制点偏差，将偏差值作为输入进入PID控制器；PID控制器根据输入偏差，计算输出控制量，将PWM控制波输出给无人机电机，控制电机沿车道线飞行。

5.根据权利要求1所述的基于无人机视觉的沿山区公路自主巡检系统，其特征在于，所述的数据中心包括云数据中心和布置在基站的数据资源库；数据中心采用SQL数据库支持无人机收集的多源山区公路信息的存储需求，采用NoSQL数据库存储无人机收集的文本、图像、视频数据；

所述数据中心提供一致的SQL语言接口用于数据访问。

6.根据权利要求1所述的基于无人机视觉的沿山区公路自主巡检系统，其特征在于，所述病害检测评估模块采用基于Faster R-CNN的公路路面病害检测方法进行病害检测，具体为：

病害检测评估模块的特征提取网络对公路路面病害特征进行提取，输出特征图；候选区域网络RPN在特征提取网络输出的特征图上对候选区域进行提取，输出包含有病害的候选区域；Fast R-CNN将特征提取网络输出的特征图与RPN输出的候选区域作为输入，输出病害类别与置信度，并对候选区域位置进行调整。