[发明专利]基于改进的注意力机制FairMOT多类别跟踪方法

说明书

本发明公开了基于改进的注意力机制FairMOT多类别跟踪方法，本发明充分利用无人机拍摄的视频，通过引入通道和空间注意力机制的多目标多类别目标追踪算法，对无人机拍摄的视频序列中存在的目标进行追踪及其运动轨迹可视化显示。具体包括如下步骤，首先对无人机数据集进行预处理；构建模型；训练网络；多类别多目标追踪算法的性能评估；在FairMOT的DL34‑base的基础上添加了注意力机制，使网络更好的学习图像中的语义信息和空间信息。还对网络的其它结构进行了修改，在目标检测分支中修改heatmap检测头与box size检测头，使得目标检测分支对于目标中心点位置和目标尺寸的预测的精确度更高，进而对整个模型的追踪性能有了不错的提升，本发明具有更高的追踪精准度。

技术领域

本发明涉及计算机视觉中多目标追踪领域，具体属于一种对无人机视频进行多类别多目标追踪的方法。

背景技术

随着智慧城市的建设，日益密集的摄像头分布使得我国的视频监控系统逐渐变得成熟化和产业化，视频数据的急剧增加，使得当前的高性能数据分析技术逐渐应用在视频监控系统中。当前，无论是在学校、商场、道路和小区等公共区域，还是家庭、办公室等私密性场所，摄像头基本全部覆盖，来保障个人财产安全和社会的有序发展。这些摄像机所起到的作用大多仅限于拍摄监控录像，在监控摄像头的背后，视频监控系统对视频场景内容进行处理和分析，对突发事件进行过程监控并及时存储有效数据，使后台决策系统可以高效地进行指挥调度。然而，视频分析技术中最关键的就是目标的提取与跟踪，目标跟踪就是对视频中的人物、车辆或其它移动的物体进行实时定位，以便工作人员或者视频分析系统能够更好的理解视频内容所能表达的语义信息，做出精准的决策。

目标跟踪作为计算机视觉研究领域的热点之一，过去几十年以来，目标跟踪的研究取得了长足的发展。从基于Mean shift、粒子滤波和Kalman Filter的经典跟踪方法，到基于检测(TrackBy Detection)或相关滤波(Correlation Filter)的方法，到最近几年来出现的深度学习相关方法。每年在几个主要跟踪数据集上的竞赛非常激烈，方法也越来越多。尽管近年来受到了广泛研究，目标跟踪问题本身的高难度、高质量数据的稀少，研究热度比目标检测、语义分割等基本视觉任务略低一些。深度学习的发展和GPU计算能力的增强带来了视觉算法性能的突飞猛进，而在目标跟踪领域中基于深度神经网络的方法在近几年逐渐成为众多研究学者研究的主要方向。

无人驾驶飞机简称“无人机”，英文缩写为“UAV”，是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机。无人机按照应用领域，可分为军用与民用。军用方面，无人机分为侦察机和靶机。民用方面，无人机+行业应用，是无人机真正的刚需。目前无人机在航拍、农业、植保、微型自拍、快递运输、灾难救援、观察野生动物、监控传染病、测绘、新闻报道、电力巡检、救灾、影视拍摄、制造浪漫等等领域的应用，大大的拓展了无人机本身的用途。

近几年来，随着科技有限公司等无人机研发公司在民用无人机上的不断创新与研发，性能优越，价格亲民的无人机开始走进日常生活。现在可以使用无人机进行无接触快递配送、图像视频拍摄、航拍以及灾难救援等等。智能化的无人机在的日常生活中扮演越来越多的角色，给生活带来了极大的便利。更好的将无人机的优势与基于卷积神经网络的目标追踪算法进行结合，将会给生活质量带来巨大的改变和提升。

虽然无人机的飞行性能与拍摄性能得到很大的提升，但是基于卷积神经网络的目标追踪算法对无人机拍摄的视频进行追踪时却面临着一些困难和挑战需要去克服。因为无人机拍摄的视频存在着目标尺寸小、密度大，以及无人机在飞行的过程中存在镜头的旋转以及抖动等情况，导致拍摄出来的视频序列给当前的基于卷积神经网络的目标追踪算法的追踪准确性带来了极大的挑战。

发明内容

本发明旨在解决上述问题，在现有多目标追踪算法FairMOT的基础上提出了一种基于改进的注意力机制FairMOT多类别跟踪方法。本发明可以充分利用无人机拍摄的视频，通过引入通道和空间注意力机制的多目标多类别目标追踪算法，对无人机拍摄的视频序列中存在的目标进行追踪及其运动轨迹可视化显示。