[发明专利]一种基于语义感知网络和相关滤波的航拍视频目标跟踪方法

说明书

本发明涉及一种基于语义感知网络和相关滤波的航拍视频目标跟踪方法，针对相关滤波算法不易解决的目标模糊和遮挡问题，本发明引入了检测模块和分割模块，在第一帧记录目标的类别信息，在后续帧中对目标候选区域进行检测和语义分割，得到该区域内相同类别的目标候选框和分割掩膜，再融合候选框和掩膜对相关滤波算法的响应图进行处理，对响应图中响应值较大的非目标区域进行裁剪，得到准确的目标定位。得益于以上措施，本发明可以在多种具有挑战性的航拍场景下取得非常鲁棒的结果。

技术领域

本发明属于图像处理技术领域，具体涉及一种基于语义感知网络和相关滤波的航拍视频目标跟踪方法。

背景技术

近年来，航拍视频跟踪技术在军事领域及民事领域得到了显著的发展，它在多样性和灵活性方面表现更为出色。相对于普通的手持设备拍摄视频，航拍视频具有更灵活的角度、尺度和视野。航拍视频目标跟踪技术的发展催生了许多新颖且重要的应用，例如人群监测、目标追踪以及空中导航。在传统通用场景目标跟踪技术中，许多算法根据第一帧中给定的初始状态在视频上定位其边界框，然而天气条件、飞行高度、目标大小和摄像机视角等特定因素都会影响目标跟踪结果；同时，由于高倾斜拍摄视角引入的阴影、背景干扰和弱光条件，航拍视频可能大幅损失物体原本丰富的纹理信息和细节。近年来，基于相关滤波的方法大量涌现，并在精度和速度上展现良好的跟踪性能，可以在一定程度上满足航拍视频的要求。然而，当航拍视频中捕捉到的目标在阴影中呈现模糊状态，或者被其他对象遮挡时，跟踪器会被误导。在这种情况下，当目标丢失一段时间后，传统相关滤波方法会产生模型漂移现象，导致无法重新跟踪定位。因此设计针对航拍场景的鲁棒目标跟踪算法意义重大且迫在眉睫。

发明内容

要解决的技术问题

针对航拍视频中由于相机运动，目标发生模糊，被遮挡而造成外观模型漂移，进而易导致跟踪失败的问题，本发明充分利用目标语义信息不易受外观变化影响的优势，结合目标检测技术，在高效率的相关滤波类算法的基础上，设计一种鲁棒的实时目标跟踪方法。

技术方案

一种基于语义感知网络和相关滤波的航拍视频目标跟踪方法，其特征在于步骤如下：

步骤1：读取第一帧图像数据以及目标块在第一帧图像中的参数R_target＝[x,y,w,h]，其中x,y表示目标左上角的横纵坐标，w,h表示目标的宽和高；

步骤2：根据第一帧目标中心位置及长宽，确定一个目标区域R₁，R₁＝[x_center,y_center,1.5w,1.5h]；

步骤3：在区域R₁上进行特征提取，特征提取网络使用带有特征金字塔FPN的ResNet50残差网络结构，得到包含5种不同尺度S＝{1.0,0.8,0.4,0.2,0.1}倍原图大小的256维深度特征J；

步骤4：将步骤3得到的特征分别输入相关滤波模块和检测模块；在相关滤波模块中，截取特征J中对应于R_target中的部分J_target作为目标模板y₁；检测模块将该目标特征J_target输入其中的类别判定分支，网络输出目标的类别信息；

步骤5：读取第k帧图像，k≥2且起始值为2，根据前一帧目标参数[x_k-1,y_k-1,w_k-1,h_k-1]，确定第k帧目标区域R_k，采用步骤3中的方法对R_k进行特征提取，得到目标特征J_k，将J_k分别输入相关滤波模块、检测模块和语义分割模块；