[发明专利]一种基于智能视觉控制的无人机云台渐进式目标对焦方法

权利要求书

1.一种基于智能视觉控制的无人机云台渐进式目标对焦方法，其特征在于：包括如下步骤：

步骤一：获取输电线路图像样本数据库；

步骤二：对步骤一中的图像样本数据库中图像进行标注，构建设备检测数据集和部件缺陷数据集；

步骤三：构建基于YOLOv5和SSPNet的目标检测双模型并通过数据集进行模型训练，得到训练好的双检测模型；

步骤四：通过具有相机云台的无人机获取输电线路真实场景的图像数据流；

步骤五：在实时真实场景图像数据流输入后，分时自动调用两个检测模型并将目标信息传输至无人机云台渐进式目标对焦模块，实现实时目标检测与数据反馈；

在获取到目标边框大小、坐标与云台姿态信息后保存，将目标参数传输到核心算法模块进行计算，从而实现渐进式相机对焦与云台控制，并将最终的目标缺陷进行对焦和拍照，保存于存储模块。

2.根据权利要求1所述的一种基于智能视觉控制的无人机云台渐进式目标对焦方法，其特征在于：所述步骤二中的设备检测数据集包括对高压输电线路的绝缘子、螺母、销钉进行检测的设备数据，所述步骤二中的部件缺陷数据集包括对高压输电线路的缺销钉和缺螺母进行检测的缺陷数据。

3.根据权利要求1所述的一种基于智能视觉控制的无人机云台渐进式目标对焦方法，其特征在于：所述步骤三中的基于YOLOv5的目标检测模型主要实现对输电线路设备部件的实时多目标检测，具体设置为具有注意力机制和可变性卷积模块的神经网络，通过注意力机制与可变形卷积模块，使得细粒度图像特征提取过程中，关注感兴趣的细节信息并抑制其他无用信息，使网络模型更加关注输电线路目标部件的特征。

4.根据权利要求1所述的一种基于智能视觉控制的无人机云台渐进式目标对焦方法，其特征在于：所述步骤三中的基于SSPNet的目标检测模型主要实现对输电线路上的部件缺陷的实时小尺度目标检测，具体设置为具有上下文注意力模块和尺度增强模块、尺度选择模块的神经网络，通过上下文注意模块与尺度增强模块，使网络充分考虑上下文信息进行分层，并在不同层突出特定尺度的特征，使检测器专注于特定尺度的物体；

之后引入尺度选择模块，利用相邻层的关系来实现深层与浅层之间适当的特征贡献，从而避免不同层之间梯度计算的不一致。

5.根据权利要求1所述的一种基于智能视觉控制的无人机云台渐进式目标对焦方法，其特征在于：所述步骤五具体包括如下步骤：

步骤5.1：无人机飞至距目标区域10m处，调用model1多目标部件检测模型即基于YOLOv5的目标检测模型，通过深度相机传输入的实时图像数据流对绝缘子部件进行识别与检测，对区域内不同绝缘子部件进行标记，将数量m、对应中心点坐标(X_c，Y_c，S_c)及无人机初始坐标和云台初始姿态1保存至存储模块为后续渐进式处理作准备；公式内S_c表示绝缘子距相机的深度距离；

步骤5.2：回归初始坐标及云台姿态1，通过比较区域内各绝缘子S_c大小，选取距离无人机最近距离的绝缘子部件进行对焦操作，对焦之后将此时无人机的云台姿态2存储至存储模块；

根据目标对象的位置区域信息，控制云台角度，将视野中心对准指定目标，利用几何关系推导出目标物体所在位置与屏幕中心点之间的角度；

其中指定目标中心点位置计算公式为：

指定目标的偏航角计算公式为：

指定目标的俯仰角计算公式为：

上式中：X_c、Y_c表示检测出的目标物体的中心点位置信息，W、H表示图片宽度和高度，x、y、w、h表示目标框的位置和大小，aov表示相机视角，无人机云台微调的水平偏航角是α，俯仰角是β；

步骤5.3：无人机云台自动侧偏向绝缘子无标记的一端并对该端进行标记，通过算法函数检测绝缘子布置为纵向还是横向，若横向则将云台自动向左或向右调整，水平偏航角是α₂，若纵向则将云台自动向上或向下调整，俯仰角是β₂，随后检测绝缘子部件两端是否均被标记，若是则删除该绝缘子信息，并返回步骤5.2，若否则进行步骤5.4；

步骤5.4：动态调整相机焦距，设定阈值条件为可以正常检测到螺母、销钉的细节部件，且螺母、销钉的细节部件在图片中的比例适当；

计算所得目标框与图片长宽比例相关系数实现自动化焦距调整；

之后计算细节部件的中心点坐标，并对该中心点进行对焦，方法同理步骤5.2，对焦后调用Model2小尺度目标缺陷检测模型即基于SSPNet的目标检测模型，对细节部件附近的缺陷进行检测，并进行是否有缺陷的判断，若无则返回步骤5.3，若有则进行步骤5.5；

步骤5.5：将渐进式方法逐步确定的缺陷中心点进行对焦并拍照，将图像保存至存储模块，同时返回步骤5.3进行标记和标记检测。