[发明专利]用于识别视频的方法和装置

说明书

本申请实施例公开了用于识别视频的方法和装置。该方法的一具体实施方式包括：获取待识别视频；将待识别视频输入至预先训练的局部和全局特征传播LGD模型，得到待识别视频的类别，其中，LGD模型通过局部和全局特征传播学习待识别视频中的空间‑时间特征。该实施方式通过局部和全局特征传播学习视频中的空间‑时间特征，从而提高了对视频的识别准确度。

技术领域

本申请实施例涉及计算机技术领域，具体涉及用于识别视频的方法和装置。

背景技术

今天的数字内容本身就是多媒体。特别是，随着富传感器移动设备的激增，图像和视频成为日常通信的媒体。因此，对多媒体内容的理解变得非常重要，这加速了视觉领域中的各种技术的发展。其中，这些技术成功的根本突破是特征学习。这可以通过卷积神经网络(Convolutional Neural Networks，CNN)的成功来证明，其展示了视觉特征中的高学习能力和概括性。

从图像到视频域的自然扩展是通过直接在视频帧上使用二维卷积神经网络(2DCNN)或者在视频片段上使用三维卷积神经网络(3D CNN)。然而，由于每个卷积操作仅处理相邻像素的局部窗口，无法充分捕获感受野的全局视图，导致忽视了远程像素的相关性。由于视频信息的复杂性以及视频内容在时间上长短不一，这种缺陷在视频识别领域暴露的更加明显。

发明内容

本申请实施例提出了用于识别视频的方法和装置。

第一方面，本申请实施例提供了一种用于识别视频的方法，包括：获取待识别视频；将待识别视频输入至预先训练的局部和全局特征传播LGD模型，得到待识别视频的类别，其中，LGD模型通过局部和全局特征传播学习待识别视频中的空间-时间特征。

在一些实施例中，LGD模型包括多个级联的LGD模块、局部和全局结合分类器和全连接层。

在一些实施例中，每个LGD模块包括相互影响的局部路径和全局路径，用于描述每个空间-时间位置的局部变化和全局外观。

在一些实施例中，每个LGD模块的传播方向包括全局到局部的传播方向和局部到全局的传播方向，在全局到局部的传播方向上，基于上一LGD模块的局部特征图和全局特征向量学习当前LGD模块的局部特征图，在局部到全局的传播方向上，基于当前LGD模块的局部特征图和上一LGD模块的全局特征向量学习当前LGD模块的全局特征向量。

在一些实施例中，基于上一LGD模块的局部特征图和全局特征向量学习当前LGD模块的局部特征图，包括：将上一LGD模块的全局路径的残差值附加到上一LGD模块的局部特征图上，生成当前LGD模块的局部特征图；以及基于当前LGD模块的局部特征图和上一LGD模块的全局特征向量学习当前LGD模块的全局特征向量，包括：线性嵌入上一LGD模块的全局特征向量和当前LGD模块的局部特征图的全局平均池化，生成当前LGD模块的全局特征向量。

在一些实施例中，每个LGD模块通过至少三个投影矩阵生成局部特征图和全局特征向量，并利用每个投影矩阵的低秩逼近来减少该LGD模块的附加参数。

在一些实施例中，将待识别视频输入至预先训练的局部和全局特征传播LGD模型，得到待识别视频的类别，包括：基于待识别视频和多个级联的LGD模块，并行学习待识别视频的局部特征和全局特征；将待识别视频的局部特征和全局特征输入至局部和全局结合分类器，合成待识别视频的合并特征；将待识别视频的合并特征输入至全连接层，得到待识别视频的类别。

在一些实施例中，每个LGD模块是LGD-2D模块或LGD-3D模块。

在一些实施例中，基于待识别视频和多个级联的LGD模块，并行学习待识别视频的局部特征和全局特征，包括：将待识别视频分割成多个待识别视频片段；从多个待识别视频片段中选取多帧待识别视频帧；将多帧待识别视频帧输入至多个级联的LGD-2D模块，并行学习多帧待识别视频帧的局部特征和全局特征，作为待识别视频的局部特征和全局特征。