[发明专利]一种时序行为片段生成方法

权利要求书

1.一种时序行为片段生成方法，其特征在于，包括以下步骤：

S1、使用双流卷积神经网络对输入视频进行编码提取视频单元特征序列；

S2、采用金字塔上下文感知机制对视频单元特征序列进行编码处理，得到多尺度信息特征；

S3、采用可学习边界匹配网络，从视频单元特征序列提取时序行为片段的固定特征表示；

S4、基于多尺度信息特征和固定特征表示，生成时序行为片段；

所述步骤S3具体包括：

S31、通过正态分布初始化得到聚类中心向量；

S32、通过全连接层和softmax计算视频单元特征属于聚类中心向量的视频单元分布图；

S33、利用时序行为掩码矩阵与视频单元分布图进行元素积运算，得到时序行为片段分布图；

S34、将时序行为片段分布图和聚类中心向量进行残差运算，得到所有可能的时序行为片段的特征；

S35、对所有可能的时序行为片段的特征进行L2的归一化处理，得到所述时序行为片段的固定特征表示。

2.根据权利要求1所述的时序行为片段生成方法，其特征在于，所述步骤S1具体为：

将视频图片序列划分为视频单元序列；

对于视频单元序列中的每一视频单元，使用双流卷积神经网络对其进行编码提取初始视频单元特征，得到初始视频单元特征序列，并对初始视频单元特征序列进行降维后，得到最终的视频单元特征序列。

3.根据权利要求2所述的时序行为片段生成方法，其特征在于，所述初始视频单元特征序列采用一层时序卷积层进行降维处理。

4.根据权利要求1所述的时序行为片段生成方法，其特征在于，所述金字塔上下文感知机制包括若干层连续的时序空洞卷积模块，每层时序空洞卷积模块用于获取视频单元特征序列中一种尺度的信息特征，将各层时序空洞卷积模块获取到的信息特征进行拼接操作后，得到所述多尺度信息特征。

5.根据权利要求4所述的时序行为片段生成方法，其特征在于，所述时序空洞卷积模块包括逐级连接的时序空洞卷积层、线性整流函数、时序卷积层和随机失活层。

6.根据权利要求1所述的时序行为片段生成方法，其特征在于，所述步骤S4具体包括：

S41、将多尺度信息特征输入一预测层，对该预测层的输出结果进行优化，得到视频单元作为行为开始和行为结束的概率序列；

S42、将时序行为片段的固定特征表示输入一预测层，对该预测层的输出结果进行优化，得到两个时序行为片段置信度得分图；

S43、设定边界点判定条件，对于所述概率序列，根据边界点判定条件，从中选取若干候选行为开始边界点和若干候选行为结束边界点，并将候选行为开始边界点和候选行为结束边界点结合生成若干初始时序行为片段；

S44、根据边界点序号，从两个时序行为片段置信度得分图中检索出初始时序行为片段的置信度得分，去除置信度得分低的初始时序行为片段，保留置信度得分高的初始时序行为片段作为最终生成的时序行为片段。

7.根据权利要求6所述的时序行为片段生成方法，其特征在于，所述边界点判定条件有两个，分别为条件1和条件2，对于某一视频单元，若其概率满足该两个条件中的任意一个，则将其作为候选边界点；

所述条件1为该视频单元的概率高于概率序列中最大值的0.5倍；

所述条件2为该视频单元的概率高于其前一个视频单元和后一个视频单元的概率。

8.根据权利要求6所述的时序行为片段生成方法，其特征在于，所述步骤S41中预测层的输出结果通过交叉熵损失函数进行优化，所述步骤S42中预测层的输出结果通过均方误差和交叉熵损失函数进行优化。

9.根据权利要求6所述的时序行为片段生成方法，其特征在于，所述步骤S41、S42中所采用的预测层，均包括时序卷积层和Sigmoid函数，该时序卷积层的卷积核大小为1。