[发明专利]一种基于多任务的篮球视频事件与目标在线检测方法

说明书

本发明公开了一种基于多任务的篮球视频事件与目标在线检测方法，本发明利用深度卷积神经网络共享多任务权重，能以在线或离线的方式对篮球比赛视频进行事件检测和目标检测。基于多任务的混合损失函数将各自任务的损失分别反向传播到对应的分支，加快了各自任务分支学习的速度。将两种任务得到的损失依特定权重相加得到总体损失并反向传播，使得骨干网络学习到混合两种任务的潜在特征归纳方式。半监督伪标签挖掘扩充了训练数据，有效抑制了偏离事件高潮时刻生成的低质量事件预测框和偏离目标几何中心生成的低质量包围框。时空多尺度的网络结构充分利用了多步幅的时域信息，归纳出多尺度的历史特征，有效提高了事件检测的召回率和准确率。

技术领域

本发明属于视频事件检测和视频目标检测技术领域，具体涉及一种基于多任务的篮球比赛视频事件和目标在线检测方法。

背景技术

视频理解中，视频事件和目标检测是关键技术。随着通信技术、计算机技术的高速发展和体育产业的稳步增长，业余和专业体育比赛视频数据量呈爆炸式增长。体育比赛视频作为一类包含大量事件和目标的视频资源，具有非常广泛的受众群体和巨大的研究价值，也对视频数学的精细处理、归档和共享提出了更高的要求。近年来，基于卷积神经网络的深度学习和高性能并行计算设备的进步为这一需求提供了保障。

视频目标检测是为了准确检测出视频帧中出现的目标，这在人群监控、自动驾驶等方面具有重要意义。最简单的检测方法是使用普通的图片目标检测网络对每一帧视频进行检测，但是这样缺少对帧间时域信息的利用，在实际情况中帧与帧之间容易出现包围框的抖动和分类的突变。使用3D卷积、光流图、LSTM层、多流等方式可以很好地利用帧间时域信息，但是他们带来了非常多的计算量，对计算设备提出了很高的要求。

现有的视频事件检测研究工作主要通过离线处理的方式对比赛视频进行事件检测，缺乏在直播和转播等在线处理领域的实用性。现有的视频在线事件检测方式只对单独帧进行分类，缺乏对当前事件开始和结束时刻的预测。此外，现有的视频事件检测研究与视频目标检测研究分离度较高，对同一视频存在冗余计算，且事件检测缺少对目标位置和运动信息的利用。因此，目前仍然缺乏一种同时对篮球视频中事件和目标进行高效在线检测的方法。

发明内容

针对现有技术的以上缺陷和改进需求，本发明的目的是提供一种基于多任务共享卷积神经网络底层权重、可同时对篮球视频中事件和目标进行高效在线检测的方法。

为了达到上述目的，本发明通过以下技术方案来实现：一种基于多任务的篮球视频事件与目标在线检测方法，该方法包括如下步骤：

S1：基于多尺度的特征归纳和表达的神经网络构建：

骨干网络层为Resnet网络，在骨干网络层中添加时域置换模块；所述时域置换模块添加在Resnet网络中每个残差结构的非旁路的卷积前，在当前时刻将特征图中前通道替换为上一时刻缓存中存储的值，并将当前帧在该层网络特征图的前通道更新到缓存中，其中m＞1；

将网络的conv3_x层、conv4_x层、conv5_x层的输出作为特征金字塔网络的输入，得到五个不同尺度的时空特征F3-F7；

将最低分辨率的两层特征图F6、F7输入事件检测头，事件检测头分为两路，均经过4层卷积层和全局平均池化层，一路输出规模为1×1×C_e，C_e为事件种类数；另一路再分为两子路，一子路输出规模为1×1×2的事件开始和结束时间偏移，另一子路输出规模为1×1×1的事件高潮打分值；

将不同尺度大小的特征图F3-F7输入目标检测头，目标检测头分为两路，均经过4层卷积层，一路输出规模为H×W×C_o，C_o为目标种类数；另一路再分为两子路，一子路输出规模为H×W×4的回归框坐标，另一子路输出规模为H×W×1的目标中心打分值，H×W为前层输出的特征图分辨率；

S2：神经网络训练：