[发明专利]一种基于视觉的无人机实时运动目标分类与检测方法

权利要求书

1.一种基于视觉的无人机实时运动目标分类与检测方法，其特征在于，通过无人机系统完成对目标的识别与检测，所述无人机系统包括无人机和地面站系统，其中无人机包括无人机本体和设置在无人机本体上的云台、相机、机载嵌入式处理器、飞行控制器和无线数字传输设备，相机、飞行控制器和无线数字传输设备均与机载嵌入式处理器之间通过导线连接，无人机和地面站系统通过无线数字传输设备进行无线通讯；

无人机系统对目标的识别与检测包括如下步骤：

1)、控制无人机飞行到目标所在区域后，控制云台和相机对目标所在区域进行视频拍摄；

2)、无人机机载嵌入式处理器对所拍摄视频进行畸变校正，并压缩成能够进行目标识别的尺寸；

3)、机载嵌入式处理器采用经过训练的YOLOv2算法识别视频中同类目标；

4)、无人机将视频和同类目标的识别结果通过无线数字传输设备传输给地面站系统，地面站系统根据识别结果统计、标定视频中的同类目标物，便于用户执行后续操作；

5)、当需要无人机执行跟踪或者降落到某一特定目标的任务时，通过人为操作在地面站中选择已标定同类目标中的一个作为特定目标，以进一步识别与跟踪，并将已选定特定目标的结果上传给无人机；

6)、机载嵌入式处理器通过ORB算法提取特定目标的特征并保存；

7)、无人机进行特定目标识别，采用YOLOv2算法识别所拍摄视频中每一帧图像中所有的同类目标，缩小特征提取范围、提高识别精度；

8)、机载嵌入式处理器采用ORB算法提取每一帧中已识别的同类目标的特征，并与特定目标的特征进行特征匹配；同时，预估特定目标的移动轨迹，计算所有同类目标位置与预估特定目标移动轨迹的匹配度；

9)、综合特征匹配度和轨迹匹配度：

9.1)、当所有同类目标中的一个目标的特征匹配度或轨迹匹配度满足设定阈值时，则认定该目标为特定目标，然后寻找到每一帧图像中特定目标所在位置，并标注，进而进行后续跟踪、降落处理；

9.2)、当所有同类目标的特征匹配度或轨迹匹配度均不满足设定阈值时，需要在地面站系统上重新选定特定目标。

2.根据权利要求1所述的基于视觉的无人机实时运动目标分类与检测方法，其特征在于，对所拍摄视频进行畸变校正的步骤如下：

1)、使用无人机所选定相机对标准平面标定板进行多角度拍摄，拍摄图像数量为12～20张；

2)、通过MATLAB或OpenCV库对所拍摄标定板视图进行处理，获取相机畸变参数；

3)、根据相机畸变参数修正视频畸变误差。

3.根据权利要求1或2所述的基于视觉的无人机实时运动目标分类与检测方法，其特征在于，采用YOLOv2算法识别目标的步骤如下：

1)、调用开源的神经网络框架Darknet框架，输入所拍摄视频，输出检测结果，所述检测结果包括目标包围矩形框的对角坐标和目标类别；

2)、将检测结果输出为xml格式文件；

3)、在输入视频图像中绘制出矩形框，可视化检测结果；

4)、对检测结果按照需求进行统计。

4.根据权利要求3所述的基于视觉的无人机实时运动目标分类与检测方法，其特征在于，采用ORB算法提取目标特征的步骤如下：

1)、构造尺度金字塔；

2)、在每层金字塔上采用Fast算法提取特征点，采用Harris角点响应函数，按角点响应值排序，选取前N个特征点，N的取值范围为和检测出的特征点个数有关，N为检测出特征点个数的20％～60％，且N为正整数；

3)、计算每个特征点的主方向；

4)、旋转每个特征点的Patch到主方向；

5)、采用汉明距离进行特征点匹配。