[发明专利]基于轻量型孪生网络的降落跟踪控制方法和系统及无人机

说明书

本发明涉及无人机控制领域，特别是基于轻量型孪生网络的降落跟踪控制方法和系统及无人机。所述降落跟踪控制方法，包括如下内容：跟踪模型训练阶段和无人机实时跟踪阶段。所述降落跟踪控制方法采用轻量型特征提取网络SNet并加以修改，提升特征的提取速度以更好地满足实时性要求；进行通道信息重要性的权重分配，可以更加有目的性地区分有效特征并加以利用，从而提升追踪精度；为提升网络的训练效果，对RPN网络的损失函数计算进行优化，采用CIOU来衡量目标框回归的精度，同时根据CIOU来调整分类损失函数的计算，加强回归网络与分类网络的关系，从而可以提高无人机降落过程的跟踪的精准度和控制响应速度。

技术领域

本发明涉及无人机控制领域，特别是基于轻量型孪生网络的降落跟踪控制方法和系统及无人机。

背景技术

传统跟踪算法主要基于均值漂移、光流法与粒子滤波等，跟踪速度快，但无法利用图像的深层特征，跟踪精度较差。目前主流的跟踪算法主要基于深度学习、相关滤波以及这二者的结合。基于深度学习的跟踪算法利用卷积网络以更好地提取图像特征，跟踪精度高，但网络的计算量大，十分耗时，难以满足实时性要求。而基于相关滤波的跟踪算法速度远超前者，可以满足实时性要求，但由于相关滤波跟踪器需要实时在线更新滤波模板，会累加误差，使跟踪效果越来越差，无法保持较长时间的跟踪。将深度学习与相关滤波相结合，可以在一定程度上进行优势互补，虽然在精度与速度上有一个较好的均衡，但跟踪效果仍然有待提高。后来基于孪生网络的算法开始应用在跟踪领域，如SiamRPN++，从相似匹配的角度来定位跟踪物体，其性能赶超了以往基于深度学习与相关滤波相结合的算法。SiamRPN++的主干网络为ResNet-50，网络较深，需要的计算资源多，时间长，不利于在无人机等嵌入式平台上应用；且不同的跟踪目标在特征图的不同通道对应的响应有所不同，不加区分均等地利用各通道的信息不利于跟踪任务；当特征提取网络较浅时，为更好地利用特征信息，应采用一种合适的特征增强方式，将浅层特征与深层特征融合起来；传统的局部区域搜索策略过于简单，当目标因为遮挡或其它因素而短暂消失时，难以重新定位到目标，因为目标再次出现时很有可能已经跑出搜索的区域外；另外，其分类网络与回归网络的训练是独立进行的，对应训练的损失函数缺少一种相关联系。

发明内容

针对上述缺陷，本发明的目的在于提出基于轻量型孪生网络的降落跟踪控制方法和系统及无人机，所述降落跟踪控制方法使得目标跟踪丢失后的重定位，保证目标重新出现时仍然处于当前搜索的区域，从而可以提高无人机降落过程的跟踪的精准度和控制响应速度。

为达此目的，本发明采用以下技术方案：

基于轻量型孪生网络的降落跟踪控制方法，其包括如下内容：

跟踪模型训练阶段：a1.在目标模版内提取目标图像，在搜索区域内提取搜索图像；将目标图像和搜索图像输入两个相同的轻量型SNet特征提取模块，利用轻量型SNet特征提取模块中轻量型网络SNet提取搜索特征和目标特征；a2.将所述搜索特征和目标特征经过特征权重调整模块经过权重调整操作得到调整搜索特征和调整目标特征；a3.将所述调整搜索特征和调整目标特征输入增强特征模块，经过特征增强操作，得到增强搜索特征和增强目标特征；a4.将增强搜索特征和增强目标特征输入至同一个RPN网络中，确定目标的种类和位置；a5.利用CIOU衡量目标框回归的精度，当CIOU值比较大时，即目标框定位精确；当对于边框精度高的样本，增加其分类损失值与边框损失值，反之则进行减小调整；a6.按照步骤a5-a2-a5进行多次循环训练最终得到跟踪模型；

无人机实时跟踪阶段：b1.对机载摄像头视频进行识别帧操作；b2.将识别帧信息导入跟踪模型并识别目标；b3.判定目标定位是否成功，若成功，利用卡尔曼算法对目标进行预测搜索并返回步骤b1进行操作；如不成功，调整扩大搜索范围并返回步骤b1进行操作。

更优的，所述步骤a1中经过轻量型网络SNet的深度分离卷积操作后，得到三条搜索特征和三条目标特征。