[发明专利]一种基于弱监督学习视频分割的行为识别方法

权利要求书

1.一种基于弱监督学习视频分割的行为识别方法，其特征在于，包括以下步骤：

步骤(1)、将整个视频初始分割成N段，为每一段分配类标签c^N＝{c₁,...c_i,...,c_N}和长度标签l_i∈{l₁,...,l_N}，其中c_i为第i段视频的类别，l_i为第i段视频的长度，i∈{1,..,N}，对视频段使用Viterbi算法生成帧标签用于计算逐帧的交叉熵损失L，基于所有视频帧的交叉熵损失L，利用其梯度ΔL的随机梯度下降更新GRU网络参数；

步骤(2)、在步骤(1)中由Viterbi算法得到的视频分割中找到最佳的动作分割点，对进行分解得到视觉模型、长度模型、上下文模型，其中，表示预测的第i段视频的类别，表示预测的第i段视频的长度；

步骤(3)、使用单层具有256个循环门单元和softmax输出的GRU网络在前向传播中连接输入视频帧数据序列，得到相对于输入视频帧数据序列的视觉模型和长度模型p(l_n|c_n)，其中，c_n为第n段视频的类别标签，l_n为第n段视频的长度，p(l_n|c_n)表示动作类别为c_n情况下动作长度为l_n的概率；

步骤(4)、定义辅助函数，找到视频动作间的最佳分割点；

所述步骤(4)具体包括：

定义辅助函数Q(t,l,c,g)，其中，t为视频帧编号，l表示最后一段的长度，c表示最后一段的类别标签，g表示非终止符的随机语法的上下文，通过步骤(2)找到视频中动作间的最佳分割点，针对视频X的第t帧x_t，该辅助函数为满足以下条件的在t帧之前的分段生成最佳概率分数，当l＞1时假设没有新的分段：

Q(t,l,c,g)＝Q(t-1,l-1,c,g)·p(x_t|c) (1)

当l＝1时假设帧t处为新的视频段：

表示可能的非终止符的随机语法的上下文，表示可能的类别标签，表示可能的长度，表示限制条件由得到类别标签c和非终止符的随机语法的上下文g，且同时满足存在g′由g′可以得到可能的类别和可能的非终止符的随机语法的上下文表示在可能的非终止符的随机语法的上下文情况下的类别标签为c，在所有可能的长度和所有上进行最大化操作，允许通过假设类c从过渡到g，p(x_t|c)表示类别标签为c情况下视频帧为x_t的概率，表示动作类别为情况下动作长度为的概率；

步骤(5)、由步骤(3)长度模型和步骤(4)辅助函数得到完整视频的最大可能分割数目，

所述步骤(5)具体包括：由公式(1)和公式(2)可得到l＞1和l＝1情况下完整视频的最大可能分割N为：

其中，T指视频X的帧数，通过跟踪公式(3)的最大参数和可以得到最佳的类别标签和长度其中p(l|c)表示动作类别为c情况下动作长度为l的概率。

2.根据权利要求1所述的基于弱监督学习视频分割的行为识别方法，其特征在于

所述步骤(1)具体包括：

将含有T帧的视频X＝{x₁,..,x_t,...,x_T}整个视频初始分割成N段，为每一段分配类标签，输出视频段类别标签c^N＝{c₁,...c_i,...,c_N}和视频段的长度标签l_i∈{l₁,...,l_N}，其中c_i为第i段视频的类别，l_i为第i段视频的长度，i∈{1,..,N}；将分配给帧x_t的类别标签定义为c_n(t)，其中n(t)是第t帧的段号，t∈{1,..,T}，推断出最有可能的视频中的分割其中可由以下公式计算得到：

其中，p(c_i,l_i|X)表示视频X中第i段视频的动作类别和动作长度的概率，表示预测的第i段视频的类别，表示预测的第i段视频的长度；

对将视频帧序列X及其类别标签c^N通过神经网络转发，c^N作为地面真值类别标签提供，所以在训练过程中只需推断出每一视频段的长度标签；将分配给帧x_t的类别标签称作c_n(t)，使用Viterbi算法将视频中动作类别和长度(c_i,l_i)写为逐帧的类别标签c_n(1),...,c_n(t),...,c_n(T)，其中c_n(t)∈{c₁,...c_l,...,c_N}，计算所有视频帧的交叉熵损失：

其中，p(c_n(t)|x_t)表示视频帧x_t对应动作类别c_n(t)的概率，-log p(c_n(t)|x_t)表示视频帧x_t的交叉熵损失；基于所有视频帧的交叉熵损失L，利用其梯度ΔL的随机梯度下降更新GRU网络参数用于更新公式(6)；

使用缓冲区来存储近期处理的视频帧序列及其推断的帧标签，对缓冲区的K帧进行采样，将其添加到损失函数中；

其中，x_k表示缓冲区视频帧序列的第k帧，K为缓冲区视频帧的总数，c_k表示帧x_k对应的类别标签；

所述步骤(2)具体包括：

根据公式(4)将函数分解：

假设视频帧之间是相互独立的，则公式(7)中arg max能够被转换为公式(8)，如下所示：

n(t)为分割帧t的编号，定义p(x_t|c_n(t))表示类别标签为c_n(t)情况下视频帧为x_t的概率，p(x_t|c_n(t))为视觉模型，p(l_n|c_n)表示第n段视频动作类别为c_n情况下动作长度为l_n的概率，p(l_n|c_n)为长度模型，p(c_n|c_n-1)表示视频中动作类别c_n-1的视频段后面的视频段的动作类别为c_n的概率，p(c_n|c_n-1)为上下文模型；

所述步骤(3)具体包括：

使用单层具有256个循环门单元和softmax输出的GRU网络在前向传播中连接输入的含有T帧的视频帧序列X＝{x₁,..,x_t,...,x_T}，p(c|x_t)是第t帧视频x_t的动作类别的GRU网络的softmax得分，则视觉模型p(x_t|c)可以由后验概率p(c|x_t)除以p(c)得到，可以表示如下：

其中p(c)是先验分布，p(c)是训练集中动作发生的归一化帧频率，在数据训练过程中，计算所有视频帧序列使用类别标签c标记的帧的数量，然后归一化得到p(c)的预估值；序列标签包含从未见过的类时使用1/#classes表示；

长度模型使用类相关泊松分布实现：

λ_c表示动作类别c的平均长度，表示λ_c的l次方，每次迭代会更新λ_c，l！是l的阶乘；训练样本(X,c^N)包含从未见过的类时定义λ_c＝N/T，其中，N表示视频段数，T表示视频X的帧数。