[发明专利]一种基于YOLOv5和GME的采样方法

说明书

本发明公开了一种基于YOLOv5和GME的采样方法。该发明是一种全局运动补偿与目标检测算法YOLOv5相结合的采样阶段预处理模块，针对镜头大幅度运动下的视频行为识别任务进行算法改进。该模块算法与基于光流的全局运动补偿算法有以下不同：一是用视频帧压缩域已有的运动矢量替换Brox光流进行，大大降低了获得数据的计算量和耗时；二是添加行人检测算法YOLOv5切割出人体存在区域，使得全局运动的估计不被人体的局部运动所影响，随后计算出背景的全局运动，反馈到整个视频帧中消除全局运动对行为识别的负面影响。本发明在公开数据集上验证并比较新算法和原算法的效果，实验结果表明该采样方法较原方法有效的保证了行为识别的实时性，同时明显改善了行为识别在镜头大幅度运动下的视频中的识别准确率。

技术领域

本发明涉及图像智能识别中的视频行为识别领域，针对出现镜头运动的视频进行行为识别时，采样无法消除全局运动的问题，设计了一种消除全局运动的采样方法。

背景技术

人体行为识别是对拍摄视频的图像处理过程，无论专业与否，在视频的拍摄过程中，难免出现摄像机的抖动与移动。这些非人体行为移动数据，极大的影响到了行为识别的准确率。

全局运动的估计算法层出不穷，主要基于光流以及运动矢量进行计算展开。本发明目标为设计一个采样阶段的预处理模块，能够估算出全局运动的运动矢量，消除其对行为识别的负面影响。

消除全局运动需要面临的问题：一是运动边界突出人体行为运动不能很好的消除全局运动对行为识别造成的负面影响，在大幅度运动出现的情况下表现不佳，二是当下基于Brox等光流的GME算法参数过多，计算复杂，同时该光流的提取也非常耗时，无法满足视频行为识别的实时性。

YOLOv5是一种在coco数据集上预训练的最新的目标检测算法，其核心思想是以回归问题的思路来处理目标检测任务。

在最初版本的YOLO方法中，网络以整张图片为输入，将其输入由若干卷积核池化层组成的中间层，提取图片的类别特征，再通过两个全连接层，预测出目标的类别和位置。这样的网络结构相较之前的R-NN而言，仅通过单个神经网络，就可以得到预测目标的类别信息和边界框的位置，极大的提升了目标检测算法的运行速度。本文将把目标检测算法用于视频特征提取的预处理阶段，为了达成算法的实时性，应该选用目标检测算法中速度最快的YOLOv5算法。除此以外，视频中的运动矢量在视频解压的过程中就可以直接获得，相较于GME，这样做避免了大量的光流运算，因此可以使用运动矢量代替光流作为网络的输入。

本专利结合目标检测YOLOv5算法，设计了基于YOLOv5和GME的采样方法，该方法在行为识别任务中有效地的消除全局运动的影响，提取出准确的人体运动信息，通过实验验证了其准确度和识别效率上的性能优越性。

发明内容

为了克服行为识别无法有效消除全局运动负面影响，运动边界特征无法有效辨别大幅度运动时人体行为和背景运动的界定问题，本发明提出了一种基于YOLOv5和GME的采样方法。该技术引用了全局运动补偿算法以及图像智能识别领域的YOLOv5技术，对GME算法进行了进一步改进。本发明所采用的的技术方案是：

步骤1.运动矢量获取模块。YGME算法将使用帧之间的运动矢量数据替代光流值进行接下来的全局运动估计与补偿。由于视频中的运动矢量在视频解压的过程中就可以直接获得，相较于GME，这样做避免了大量的光流运算(Brox光流算法在NVIDIA GPU上的处理速度为一帧0.06s，也就是约16FPS)。

步骤2.人体区域分割模块。为了消除局部运动(主要是人体运动)对全局运动的错误估计，使用行人检测Yolo算法获取图像帧中的人员存在区域，留下人员存在以外的那部分区域。

步骤3全局运动估计模块。根据切割后留下的背景模块，估计全局运动估计背景区域的全局运动矢量，也就是摄像机的运动量。