[发明专利]一种基于时空联合的人体动作检测和定位方法

权利要求书

1.一种基于时空联合的人体动作检测和定位方法，其特征及具体步骤如下：

S1，对于一个输入未修剪的视频V，进行视频序列预处理，将其分成K个等长的短单元，记为V＝{S₁,S₂,…,S_K}；

S2，将每个均匀分割的短单元切分成连续的视频帧，从中随机地进行稀疏采样L＝12视频帧来近似密集的视频流；

S3，使用双流卷积神经网络提取时间维度和空间维度上的高层特征，即为时空特征，充分利用时序结构信息；

S4，进入时空联合网络训练的二元分类器，判断是否存在人员目标以及动作的发生区间，对区域候选者和标准动作之间的相似性进行评分，得到一组动作评分波形图；

S5，将动作波形图输入GTAG网络，通过设置不同的阈值以实现不同的定位精度要求，充分利用上下文信息，由此获得不同粒度的动作提议段；

S6，所有动作提议段都输入到动作分类器中以检测动作的类别，输出K+1个类别的评分，包括背景类别的评分；

S7，再将S6中的动作评分和相应的动作提议段输入到完整性过滤器中以精细修正动作发生的时间边界；

S8，输出动作的类别和相应的时间边界。

2.根据权利要求1所述的一种基于时空联合的人体动作检测和定位方法，其特征在于，对于步骤S3，本发明使用的双流卷积网络模型由空间流ConvNets和时间流ConvNets组成，空间流从静止的视频帧中首先进行人员目标的检测，解决因遮挡而无法找到目标的问题，如在海上石油平台复杂场景中，人员目标受柱形管道遮挡严重，使用简单场景下常规模型难以找到目标，然后将连续帧的关键点坐标信息构成动作轨迹，视为空间流特征进行动作分析；时间流以密集光流的形式从运动中识别动作，通过提取多帧光流信息将连续帧之间的光流堆叠形成光流轨迹，视为单位时间内的位移信息，视为时间流特征。

3.根据权利要求1所述的一种基于时空联合的人体动作检测和定位方法，其特征在于，对于步骤S4，本发明采用由时空联合网络训练的二元分类器，其作用是粗略地判断动作是否在该区间内发生，输出为一组动作分数波形图，显示了区域候选者与标准动作的相似性得分，这是一种不考虑动作类别但仅测量视频片段中是否存在动作的度量方式；此目标是基于此相似性波形的标准动作来确定视频帧是否有资格显示，有效的判断将可以提高动作识别的准确性，每个片段都可以获得视频存在动作的分数，这些片段的分数可以通过分段共识函数进行融合以获得最终的评分，其中，时空联合网络分段组合评分的函数如下：

SJN(T₁,T₂,…,T_K)＝H{G(F₁(T₁,W₁),F₂(T₂,W₂),…,F_K(T_K,W_K))} (1)

式(1)中，T₁,T₂,…,T_K表示一系列短单元视频片段，是来自其对应段{S₁,S₂,…,S_K}的随机时间采样的片段，函数H是基于该共识下的预测函数，用来预测整个视频片段存在动作的概率，F_K(T_K,W_K)表示在K时刻、具有参数W_K参与下的每个片段的评分函数，分段共识函数G用来组合来自多个短片段的输出以获得它们之间的存在动作假设的一致性，其损失函数L(y,G)表示为：

式(2)中，y_i是关于动作发生边界i相对于真实值ground-truth时间边界的偏差，每个片段的得分G_i表示为：

G_i＝g(F_i(T₁),F_i(T₂),…,F_i(T_K)) (3)

式(3)中，g是聚合函数，在反向传播过程中，模型参数W相对于损失值L的梯度可以表示为：

式(4)中，K是短单元视频片段的数量，梯度的计算是在分段共识函数的参与下得到的，用于模型参数W的更新。