[发明专利]基于稠密-分段式帧采样的视频行为识别方法、系统、计算机设备和存储介质

权利要求书

1.一种基于稠密-分段式帧采样的视频行为识别方法，其特征在于，包括以下步骤：

步骤一：将视频所有帧均匀地分为N段，N为超参数；

步骤二：在每段视频帧中采样一帧，作为关键帧；

步骤三：将所有关键帧组成一个关键片段，该片段包含了视频的长程时序信息；

步骤四：对每一个关键帧，在其前后按固定的采样率采样连续若干帧，作为上下文帧，这些上下文帧和其对应的关键帧组成一个上下文片段，该片段包含了关键帧的局部上下文信息；

步骤五：将采样得到的一个关键片段和N个上下文片段，送入时序稠密-分段式网络TDSN中进行处理；TDSN包含两个子网络：关键子网络和上下文子网络；

关键子网络接收关键片段作为输入，从中提取包含长程时序信息特征图；

上下文子网络接收上下文片段作为输入，从中提取包含局部上下文信息特征图；

步骤六：将长程时序信息和局部上下文信息通过融合模块融合在一起，融合的特征最终用于识别视频中的行为动作。

2.根据权利要求1所述的一种基于稠密-分段式帧采样的视频行为识别方法，其特征在于，步骤二中的关键帧采样，是在训练神经网络时随机采样，在推理时采样中间帧。

3.根据权利要求1所述的一种基于稠密-分段式帧采样的视频行为识别方法，其特征在于，步骤四中，采样上下文帧时，是在关键帧的前后，每隔r帧采样一次，其中r是超参数。

4.根据权利要求1所述的一种基于稠密-分段式帧采样的视频行为识别方法，其特征在于，步骤五中，关键子网络的结构为任意的卷积神经网络。

5.根据权利要求1所述的一种基于稠密-分段式帧采样的视频行为识别方法，其特征在于，步骤五中，上下文子网络的结构，为任意的卷积神经网络，对N个上下文片段提取特征时，上下文子网络权值是共享的。

6.根据权利要求1所述的一种基于稠密-分段式帧采样的视频行为识别方法，其特征在于，步骤六中，融合模块将关键子网络提取的一张特征图，和上下文子网络提取的N张特征图融合在一起，并将融合的特征以残差的形式补充到关键子网络中，为关键帧补充局部上下文信息。

7.根据权利要求1所述的一种基于稠密-分段式帧采样的视频行为识别方法，其特征在于，融合模块有多个，用于对不同尺度的特征图进行融合。

8.一种基于稠密-分段式帧采样的视频行为识别系统，其特征在于，包括：

分段模块，用于将视频所有帧均匀地分为N段，N为超参数；

关键帧提取模块，用于在每段视频帧中采样一帧，作为关键帧；

关键片段组成模块，用于将所有关键帧组成一个关键片段，该片段包含了视频的长程时序信息；

上下文片段提取模块，用于对每一个关键帧，在其前后按固定的采样率采样连续若干帧，作为上下文帧，将这些上下文帧和其对应的关键帧组成一个上下文片段，该片段包含了关键帧的局部上下文信息；

TDSN处理模块，用于将采样得到的一个关键片段和N个上下文片段，送入时序稠密-分段式网络TDSN中进行处理；TDSN处理模块包含：

关键子网络单元，用于接收关键片段作为输入，从中提取包含长程时序信息特征图；

上下文子网络单元，用于接收上下文片段作为输入，从中提取包含局部上下文信息特征图；

融合模块，用于将长程时序信息和局部上下文信息融合在一起，融合的特征最终用于识别视频中的行为动作。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。