[发明专利]一种基于光流网络的无人机视频运动目标检测方法

说明书

本发明涉及一种基于光流网络的无人机视频运动目标检测方法，所述光流网络包括特征语义提取网络、上下文提取网络、视觉相似度计算模块、MobileViT‑CBAM模块和GRU迭代更新模块，特征语义提取网络和上下文提取网络的RepVGG特征提取模块，即保留了多分支结构的性能优势，进一步融合了细节信息和语义信息，使提取的特征表达能力更强，提高了检测精度。同时利用机构重参数化思想变为单路结构，又进一步提高了推理速度，减少显存占用。针对CNN缺乏全局信息的提取能力，采用MobileViT‑CBAM模块作为单独的附加模块，使用CNN和Transformer结合的方式，以获得更多的特征信息和细节信息，达到更精确的光流估计，得到更精确的目标分割结果。

技术领域

本发明涉及无人机技术领域，尤其涉及一种基于光流网络的无人机视频运动目标检测方法。

背景技术

随着无人机技术不断发展成熟，针对无人机视频图像的处理也变得愈加重要，其中运动目标检测就是重要研究方向之一，它在空间遥感、军事勘察、智慧城市建设、自然灾害检测等方面都发挥着重要作用。运动目标检测也是实现目标跟踪、道路监控、行为分析等任务的前提，是计算机视觉领域的重要组成部分，被广泛应用于军事以及民用领域，其中主要包括：武器装备，安防，交通管制，图像压缩，三维重构等。由于无人机数据的获取不受时间和地域的限制，在获得大范围、多角度、高分辨率数据等方面具有一定的优势。因此，国内外学者开始利用无人机视频图像进行运动目标检测相关的研究，常见的无人机视频运动目标检测方法主要包括帧差法、光流法和深度学习法等。传统方法虽然在运动目标检测领域取得了一定的成果，但取得的效果局限于一些特定的场景。深度学习已被证明是传统方法的有效替代品，深度学习可以回避制定优化问题并训练网络直接预测流量。当前的深度学习方法已经实现了与最佳传统方法相当的性能，同时在推理时明显更快。

光流估计领域先后有几种主流网络。一开始是FlowNet以及FlowNet2，后来被PWCNet所替代，后来又有了IRR这样的迭代式网络，再到2020年提出了RAFT。其实光流估计方法的发展过程就是从UNet的结构逐渐跳出的过程。而且，由于光流所描述的是两帧图像间的关系，通过已估计出的光流可以把后一帧向前一帧映射，映射之后的两帧可以继续估计光流的残差，如此循环，可以将残差不断叠加，所以，加入迭代优化的结构是很好的思路。PWCNet试图加入迭代优化，但由于其思路仍然被UNet限制，没能走出上下采样的结构，从而限制了迭代的次数，即迭代上采样的层数的设计必须和下采样的层数保持一致。后来，IRR网络进一步推动迭代优化的过程，将整个PWCNet网络迭代很多次，不断地计算光流的残差，再求和，从而达到了更好的效果。而RAFT巧妙地将下采样与迭代优化结合，完美地跳出Unet相关思想的限制。这也成为接下来一段时间光流估计方法的主要思想，即同时考虑到局部和全局信息，输入到循环网络里将光流的估计值进行迭代优化。RAFT架构是由传统的基于优化的方法推动的。特征编码器提取每个像素的特征。相关层计算像素之间的视觉相似度。更新运算符模仿迭代优化算法的步骤。但与传统方法不同，特征和运动先验不是手工制作的，而是学习的，分别由特征编码器和更新算子学习。这种特征匹配与迭代的方式，也将成为今后光流网络研究的热点方向。

现有技术方案存在的不足：

1、运动目标检测中由于遮挡和运动会导致光流估计结果存在很大的模糊性，而这些模糊无法通过局部方法解决，导致最终检测精度较低。

CNN不适合做全局运动估计，CNN网络在空间上是局部的，标准的卷积可以看成三步：1)unfolding 2)matrix multiplication 3)folding。其中第二步矩阵乘法只能学习到局部表征。所以如何结合CNN的轻量和学习到全局特征是当前的重要任务。

2、针对不同场景的检测精度较差

无人机运动过程中不可避免的会因为自身运动、光照变化，风力干扰等因素容易运动目标检测中存在一些挑战，比如进行多目标检测、遮挡目标检测任务等。

3、缺乏大量带有真实标签的光流数据