[发明专利]一种视频深度分析的方法与系统

说明书

本发明公开了一种视频深度分析系统，包括：特征网络，所述特征网络从原始视频提取特征，并在所述特征上添加时间标记；以及转接模块，所述转接模块基于带有时间标记的特征生成时空特征张量，所述时空特征张量包括时间维度和空间特征维度。

技术领域

本发明属于人工智能与计算机视觉领域，具体涉及一种用于视频深度分析的方法与系统。

背景技术

近年来，以卷积神经网络为代表的深度学习方法在图像分析与物件识别方面取得了令人瞩目的成绩。对单帧图像的深度分析已经能够以较高的成功概率和稳定性，从图像中获取特定目标的信息，包括存在与否，所处位置以及状态变化等。这使得车辆识别、人脸识别等应用的大规模部署具备了相当的技术基础。

相比于针对单帧图像的物件识别，涉及到多帧图像所构成的运动视频的联合分析技术还很不成熟。人们已经意识到，运动视频分析的关键在于如何将时间轴上不同点的信息加以协同利用。但是具体怎么做，才能够将信息沿时间轴有效地融合起来，仍然存在现实的困难。尽管出现了诸如3d卷积、多帧判决等方法，但是其或者拘泥于局部分析，无法获得全局特征；或者只能照顾到时间轴上的关键点，无法形成完整的连续采样。因此，效果距离实用要求尚有较大差距。

因此，本领域需要一种新型的用于视频分析的方法和系统，至少部分地解决现有技术中存在的问题。

发明内容

为了解决上述问题，本发明的实施例使用新的视频深度分析系统和方法。该系统和方法可以显著提升运动视频分析与识别的准确率与稳定性，同时为硬件实现提供方便。

本发明的一个实施例提供一种视频深度分析系统，包括：

特征网络，所述特征网络从原始视频提取特征，并在所述特征上添加时间标记；以及

转接模块，所述转接模块基于带有时间标记的特征生成时空特征张量，所述时空特征张量包括时间维度和空间特征维度。

在本发明的一个实施例中，该视频深度分析系统还包括决策模块，所述决策模块处理时空特征张量生成最终决策。

在本发明的一个实施例中，所述决策模块是决策神经网络，所述决策神经网络：

一个或者多个卷积层；

与每一个卷积层对应的池化层和非线性层；以及

全连接网络，所述全连接网络接收卷积层、池化层和非线性层的分析结果，并进行判别决策。

在本发明的一个实施例中，所述特征网络包括多个级联的处理层，后一处理层用于对前一处理层处理的结果作进一步处理，提取更高层次的特征，每个处理层包括：

卷积层，用于通过卷积操作提取待处理的单帧图像或者时间相邻多帧图像中的空间局部特征；

非线性激励层，用于对输入的卷积计算结果用非线性函数进行处理；以及

池化层，用于对待处理的单帧图像或者时间相邻多帧图像实施降采样。

在本发明的一个实施例中，所述特征网络包括时间标记模块，用于给所述处理层输出的时空特征打上时间标记，所述时间标记是绝对时间、相对时间和帧序号中的一种或多种。

在本发明的一个实施例中，所述特征网络是并行工作的多个特征网络，同时对与多个局部时间相对应的单帧或者局部多帧视频数据进行处理。

在本发明的一个实施例中，所述转接模块包括：

时域差分模块，用于使用差分操作来强化不同时间的特征之间的差异；

特征域降维模块，用于减少特征的维度；以及

时空特征张量生成模块，用于将带有时间标记的特征整合为时空特征张量。