[发明专利]一种航空图像目标精细识别系统

权利要求书

1.一种航空图像目标精细识别系统，其特征在于：包括深度学习主机、数据采集器、目标检测算法、操作机构；所述深度学习主机由机箱和内置硬件组成，机箱内部安装有CPU、主板、显卡、CPU散热、固态硬盘、内存、电源；所述数据采集器采用无人机航拍器，数据采集器使用带屏遥控器搭配HDMI转接线连接深度学习主机；所述的目标检测算法内置于深度学习主机中；所述操作机构中的显示屏、鼠标和键盘也直接与深度学习主机相连接。

2.根据权利要求1所述的一种航空图像目标精细识别系统，其特征在于：所述无人机航拍器为大疆air2便携可折叠智能无人机航拍器，其采集的数据图像或视频，通过SDR-OcuSync2.0图传技术无线传输给主机用于模型训练或检测。

3.根据权利要求1所述的一种航空图像目标精细识别系统，其特征在于：所述深度学习主机CPU、内存、固态硬盘与主板连接，主板后置面板安装到机箱，散热器和CPU连接，并将风扇安装到CPU，GPU和内存、电源模块安装到主板和机箱。

4.根据权利要求1所述的一种航空图像目标精细识别系统，其特征在于：所述目标检测算法使用新的目标表示方法(点集)解决分类和回归不一致，根据目标的宽高比自适应调节正负样本阈值应对不同形状目标，结合transformer和PANet组成的主干网络扩大感受野提升小目标的识别精度。

5.一种航空图像目标精细识别系统的识别方法，其特征在于：它的识别方法包括如下步骤：

步骤一：数据的采集和预处理：数据采集使用无人机航拍ROI区域图像或者视频并传输到主机；数据预处理首先将视频拆分为图片，然后使用标注软件labelme手动标注图片中的目标，标注目标的参数包括四个点坐标(以目标的头部方向为起点顺时针标注)和类别并保存标签为文本格式；使用算法程序中的prepare_data.py将图片和标签转换为检测算法需要的图像大小(1024*1024)和标签格式(x，y，w，h，θ，classname_id)用于模型训练；其中x，y，w，h，classname_id分别表示目标的中心x，y坐标，宽高以及类别名的索引编号；

步骤二：使用算法项目中的train.py在终端环境训练模型：本算法采用开源的oriented reppoints为基线，通过加入动态IoU阈值IoU_out＝exp(-aw/r)*IoU_threshold+α来提高目标的检测精度，其中aw表示目标长宽比，r表示归一化系数，IoU_threshold表示正样本阈值，α是补偿尝试，确保大长宽比时期望的IoU值不为0；模型训练配置如下：学习率设为0.005，训练次数60，数据增强采用随机旋转方式；最后，在终端激活创建的虚拟环境，环境创建要求如算法中的readme.md所述，输入python train.py用于训练算法模型；

步骤三：使用训练出的模型检测待检测区域图像或视频：检测方法分为实时检测和离线检测；实时检测使用无人机航拍图像或视频数据通过OcuSync无线图像传输技术传送到检测系统实现实时检测，并在显示屏上实时显示检测结果；离线检测则是通过上传待检测的图像或视频到检测系统测试文件实现离线检测；

(3.1)、算法环境搭建：

Requirements:Linux，python3.7+，Pytorch1.3 or higher，CUDA9.0 or higher，mmdet＝＝1.1.0，mmcv＝＝0.3.1，GCC4.9 or higher，NCCL2.1.15 or higher；

step1:conda create-n oriented python＝3.7-y

step2:source activate oriented

step3:conda install pytorch＝1.4 torchvision cudatoolkit-10.0-c pytorch

step4:pip install-r requirements.txt

step5:python setup.py develop

step6:sudo apt-get install swig

swig-c++-python polyiou.i

python setup.py build.ext–inplace；

(3.2)、算法实现原理：

输入一张1024x1024的图片，在经过transformer的backbone提取特征之后，经过五次下采样，特征图变为32x32大小，然后将该特征图映射到原图上，有32x32的网格grid，每个网格32x32像素，默认目标的中心点落在的所在grid负责预测该目标，该grid下采样到特征图上就成为一点，此时需要预测出9个点，即在每个特征图对应的location位置，网络需要学习9组偏移量，

在32x32长宽的特征图，共有1024个点，对于每个点需要预测9个点，来调整样本点的位置：

R_r＝{(x_k+Δx_k,y_k+Δy_k)}ⁿ_k＝1 (1)

(Δx_k,Δy_k)分别为预测点相对于中心点的偏差，n一般取9，偏差的学习由可变形卷积DCN实现；

总体上，该算法是基于全卷积网络实现的，输入图像经过PANet主干网络之后，经过一次3x3的可变形卷积，预测的offset经过坐标计算，得到一阶段点集，可变形卷积继续提取特征，再预测得到offset和每个位置的分类结果，由offset计算得到细化后第二次的点集；最终，将每个位置的点集转换成预测框，加上分类结果，得到目标检测的结果；

(3.3)、算法性能评估指标：

评估算法的性能将基于数据集的预测和地面真实性之间的定量比较；对于给定的目标真值框和生成的预测框，根据IoU阈值0.5选择TP、FP、FN，根据如下公式计算精确率和召回率，然后计算每个类别的AP值，所有类别的AP平均值极为模型的精度性能mAP。