[发明专利]用于识别视频的方法和装置

权利要求书

1.一种用于识别视频的方法，包括：

获取待识别视频；

将所述待识别视频输入至预先训练的局部和全局特征传播LGD模型，得到所述待识别视频的类别，其中，所述LGD模型通过局部和全局特征传播学习所述待识别视频中的空间-时间特征，所述LGD模型包括多个级联的LGD模块，每个LGD模块的传播方向包括全局到局部的传播方向和局部到全局的传播方向，在所述全局到局部的传播方向上，基于上一LGD模块的局部特征图和全局特征向量学习当前LGD模块的局部特征图，在所述局部到全局的传播方向上，基于所述当前LGD模块的局部特征图和所述上一LGD模块的全局特征向量学习所述当前LGD模块的全局特征向量。

2.根据权利要求1所述的方法，其中，所述LGD模型还包括局部和全局结合分类器和全连接层。

3.根据权利要求2所述的方法，其中，每个LGD模块包括相互影响的局部路径和全局路径，用于描述每个空间-时间位置的局部变化和全局外观。

4.根据权利要求1所述的方法，其中，所述基于上一LGD模块的局部特征图和全局特征向量学习当前LGD模块的局部特征图，包括：

将所述上一LGD模块的全局路径的残差值附加到所述上一LGD模块的局部特征图上，生成所述当前LGD模块的局部特征图；以及

所述基于所述当前LGD模块的局部特征图和所述上一LGD模块的全局特征向量学习所述当前LGD模块的全局特征向量，包括：

线性嵌入所述上一LGD模块的全局特征向量和所述当前LGD模块的局部特征图的全局平均池化，生成所述当前LGD模块的全局特征向量。

5.根据权利要求4所述的方法，其中，每个LGD模块通过至少三个投影矩阵生成局部特征图和全局特征向量，并利用每个投影矩阵的低秩逼近来减少该LGD模块的附加参数。

6.根据权利要求2或3所述的方法，其中，所述将所述待识别视频输入至预先训练的局部和全局特征传播LGD模型，得到所述待识别视频的类别，包括：

基于所述待识别视频和所述多个级联的LGD模块，并行学习所述待识别视频的局部特征和全局特征；

将所述待识别视频的局部特征和全局特征输入至所述局部和全局结合分类器，合成所述待识别视频的合并特征；

将所述待识别视频的合并特征输入至所述全连接层，得到所述待识别视频的类别。

7.根据权利要求6所述的方法，其中，每个LGD模块是LGD-2D模块或LGD-3D模块。

8.根据权利要求7所述的方法，其中，所述基于所述待识别视频和所述多个级联的LGD模块，并行学习所述待识别视频的局部特征和全局特征，包括：

将所述待识别视频分割成多个待识别视频片段；

从所述多个待识别视频片段中选取多帧待识别视频帧；

将所述多帧待识别视频帧输入至多个级联的LGD-2D模块，并行学习所述多帧待识别视频帧的局部特征和全局特征，作为所述待识别视频的局部特征和全局特征。

9.根据权利要求8所述的方法，其中，所述多个待识别视频片段中的每个待识别视频片段选取至少一帧待识别视频帧。

10.根据权利要求7所述的方法，其中，所述基于所述待识别视频和所述多个级联的LGD模块，并行学习所述待识别视频的局部特征和全局特征，包括：

将所述待识别视频分割成多个待识别视频片段；

将所述多个待识别视频片段输入至多个级联的LGD-3D模块，并行学习所述多个待识别视频片段的局部特征和全局特征，作为所述待识别视频的局部特征和全局特征。

11.根据权利要求10所述的方法，其中，所述多个级联的LGD-3D模块将三维学习分解为在空间维度中的二维卷积和在时间维度中的一维运算。