[发明专利]融合全局信息的动作视频段提取方法

权利要求书

1.融合全局信息的动作视频段提取方法，其特征在于，包括如下步骤：

步骤1、选择数据集；

步骤2、在选择的数据集中，提取原始视频中的视频段对应的视频帧，并利用TSN网络模型提取原始视频中包含的视频段的视觉特征，并将视觉特征组成视觉特征序列；

步骤3、利用时序卷积对提取的视觉特征序列进行卷积操作；

步骤4、基于进行卷积操作后的视觉特征序列生成视频段的二维视频段特征，并进行视频段的动作预测；

步骤5、基于进行卷积操作后的视觉特征序列预测视频段的开始时间节点和结束时间节点；

步骤5中，通过开始时间节点和结束时间节点预测模块基于进行卷积操作后的视觉特征序列预测视频段的开始时间节点和结束时间节点；

所述开始时间节点和结束时间节点预测模块包括堆叠的多个相同的基本模块StartEndBlock；

步骤6、将视频段的动作预测结果以及开始时间节点和结束时间节点预测结果进行融合，产生最终的预测结果。

2.根据权利要求1所述的融合全局信息的动作视频段提取方法，其特征在于，步骤1中，所述数据集为ActivityNet-1.3，该数据集按照2:1:1的比例将所有视频划分为训练集、评估集和测试集。

3.根据权利要求1所述的融合全局信息的动作视频段提取方法，其特征在于，步骤2中，提取原始视频中的视频段对应的视频帧，表示为，其中表示总的视频帧数，表示在视频中的第n帧；对于该视频的数据集，表示为，其中表示某个视频中含有动作视频段的数目，和分别表示第个标签的开始时间节点和结束时间节点。

4.根据权利要求3所述的融合全局信息的动作视频段提取方法，其特征在于，步骤2中，利用TSN网络模型提取原始视频中包含的视频段的视觉特征，并将视觉特征组成视觉特征序列，具体包括如下步骤：

步骤201、将原始视频按照时间间隔，生成视频段，其中，表示所提取的视频段数，表示总的视频帧数，，表示原始视频中的第个RGB图像，表示的光流图；

步骤202、将输入至TSN网络模型，分别通过TSN网络模型中的空间网络和时间网络，分别获取空间网络及时间网络的输出结果；

步骤203、融合空间网络及时间网络的输出结果，得到融合后的输出结果，表示为，其中，表示利用空间网络所提取的视觉特征，表示利用时间网络所提取的视觉特征；

步骤204、将融合后的输出结果组成视觉特征序列，表示为，其中表示所提取的视频段数，表示视频段所对应的视觉特征。

5.根据权利要求4所述的融合全局信息的动作视频段提取方法，其特征在于，步骤3具体为：

利用时序卷积对提取的视觉特征序列F进行卷积操作，并扩大视觉特征序中视觉特征的感受视野，扩大感受视野后的视觉特征表示为，且，C表示特征通道数，R表示实数，T表示视频长度。

6.根据权利要求5所述的融合全局信息的动作视频段提取方法，其特征在于，步骤4中，所述基于进行卷积操作后的视觉特征序列生成视频段的二维视频段特征，具体包括如下步骤：

步骤401、定义一个视频段的开始时间节点为，结束时间节点为；

步骤402、计算该视频段的掩膜Mask；

步骤403、将掩膜Mask和扩大感受视野后的视觉特征进行矩阵乘积运算得到视频段的二维视频段特征，在中，表示从时间到时间的视频段的特征。

7.根据权利要求6所述的融合全局信息的动作视频段提取方法，其特征在于，步骤402中，所述掩膜，对于Mask中的每一项，表示从时间到时间中选取出N个点的特征，作为该视频段的特征，其中N表示所提取的特征点个数，R表示实数，T表示时间维度，对于非整数位置点利用如下公式来计算：

；

其中，表示选取小数部分，表示选取整数部分，表示每次计算时第n个位置。