[发明专利]一种基于弱监督学习视频分割的行为识别方法

说明书

本发明公开了一种基于弱监督学习视频分割的行为识别方法，其中方法包括：将整个视频分割成未知数量的N段，为每一段分配类标签和长度标签，对视频段使用Viterbi算法生成帧标签用于计算逐帧的交叉熵损失；在由Viterbi算法得到初始视频分割中找到最佳的动作分割点，对初始视频分割进行分解得到视觉模型、长度模型、上下文模型；使用单层具有256个循环门单元和softmax输出的GRU网络在前向传播中连接输入数据序列，得到后验概率和长度模型；定义辅助函数，找到最佳分割点；最终由长度模型和辅助函数得到完整视频的最大可能分割。充分利用弱监督视频，对完整视频中的动作进分割。

技术领域

本发明涉及视频行为识别领域，主要涉及一种基于弱监督学习视频分割的行为识别方法。

背景技术

近年来大量视频数据的产生，吸引了人们对视频行为识别的研究。行为识别领域的总体发展趋势也由静态场景向动态场景转换，单运动目标检测与识别向多运动的目标检测与分析转换，个体简单行为到复杂动作的过渡甚至向群体行为动作识别和检测转换。Breakfast、Salad等视频行为数据集不断在计算机视觉顶级会议论文上被讨论，对于数据集中的活动分类和时间分割已经成为视频行为识别研究的热门内容。

视频行为识别主要依赖于数据集的两种标注方式，完全监督和弱监督。完全监督耗费大量的人工成本对视频中动作帧定界以及类标记，弱监督只提供一段视频中发生动作类别序列，而不提供每个动作的具体起始帧结束帧，从动作标签构成的动作集中学习时间动作分割和标记。传统的视频行为识别算法包括动态时间规整、CDP算法、HMM、维特比算法,基本深度学习的视频行为识别方法有双流法、LSTM、GRU、C3D和I3D等，使用这些方法在检测视频中动作类别时效果不错，但用于弱监督视频分割时并不高效。

发明内容

本发明针对现有技术中的上述问题，提出的一种基于弱监督学习视频分割的行为识别方法，利用维特比算法生成的帧标签计算逐帧的交叉熵损失L，使用交叉熵损失的梯度ΔL的随机梯度下降更新网络参数，使用单层具有256个循环门单元和softmax输出的GRU网络在前向传播中连接输入数据序列，计算后验概率以得到完整视频的最大分割数目，准确的分割一段视频中的不同动作。

本发明所采用的技术方案如下：

步骤(1)、将整个视频分割成N段，为每一段分配类标签c和长度标签l，对分割得到的视频段使用维特比算法生成帧标签用于计算逐帧的交叉熵损失L；基于所有视频帧的交叉熵损失L，利用其梯度ΔL的随机梯度下降更新GRU网络参数；

步骤(2)、在步骤(1)中由维特比算法得到的初始视频分割中找到最佳的动作分割点，其中i为视频段编号，i＝1,...,N，对进行分解得到视觉模型、长度模型、上下文模型；

步骤(3)、使用单层具有256个循环门单元和softmax输出的GRU网络，在前向传播中连接输入数据序列得到后验概率除以类别概率求得步骤(2)中的视觉模型，使用基于类别的泊松分布求得步骤(2)中的长度模型；

步骤(4)、定义辅助函数，找到最佳分割点；

步骤(5)、由步骤(3)求得的长度模型和步骤(4)定义的辅助函数得到完整视频的最大分割数目。

本发明的有益效果是，不同于常见的视频行为识别方法识别视频中的动作类别，仅对视频中动作类别进行弱监督标注，使用基于弱监督学习视频分割的行为识别方法，对完整视频中的动作进行分割，可以准确识别视频中的行为动作。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1为根据本发明实施例的基于图卷积神经网络的骨架数据行为识别方法的流程图；

图2为本发明实施例的一个视频，沏茶动作的第81、171、366、480和703帧；

图3为根据本发明实施例的整体网络结构。