[发明专利]一种视频深度分析的方法与系统

权利要求书

1.一种视频深度分析系统，包括：

特征网络，所述特征网络从原始视频提取特征，并在所述特征上添加时间标记；以及

转接模块，所述转接模块基于带有时间标记的特征生成时空特征张量，所述时空特征张量包括时间维度和空间特征维度。

2.如权利要求1所述的视频深度分析系统，还包括决策模块，所述决策模块处理时空特征张量生成最终决策。

3.如权利要求2所述的视频深度分析系统，其特征在于，所述决策模块是决策神经网络，所述决策神经网络：

一个或者多个卷积层；

与每一个卷积层对应的池化层和非线性层；以及

全连接网络，所述全连接网络接收卷积层、池化层和非线性层的分析结果，并进行判别决策。

4.如权利要求1所述的视频深度分析系统，其特征在于，所述特征网络包括多个级联的处理层，后一处理层用于对前一处理层处理的结果作进一步处理，提取更高层次的特征，每个处理层包括：

卷积层，用于通过卷积操作提取待处理的单帧图像或者时间相邻多帧图像中的空间局部特征；

非线性激励层，用于对输入的卷积计算结果用非线性函数进行处理；以及

池化层，用于对待处理的单帧图像或者时间相邻多帧图像实施降采样。

5.如权利要求4所述的视频深度分析系统，其特征在于，所述特征网络包括时间标记模块，用于给所述处理层输出的时空特征打上时间标记，所述时间标记是绝对时间、相对时间和帧序号中的一种或多种。

6.如权利要求1所述的视频深度分析系统，其特征在于，所述特征网络是并行工作的多个特征网络，同时对与多个局部时间相对应的单帧或者局部多帧视频数据进行处理。

7.如权利要求1所述的视频深度分析系统，其特征在于，所述转接模块包括：

时域差分模块，用于使用差分操作来强化不同时间的特征之间的差异；

特征域降维模块，用于减少特征的维度；以及

时空特征张量生成模块，用于将带有时间标记的特征整合为时空特征张量。

8.一种视频深度分析方法，包括：

通过特征网络从原始视频数据中提取特征，并对所提取的特征打上时间标记；

根据带有时间标记的特征生成集合生成时空特征张量，所述时空特征张量包括时间维度和空间特征维度；以及

通过决策模块处理时空特征张量生成最终决策。

9.如权利要求8所述的视频深度分析方法，其特征在于，通过特征网络从原始视频数据中提取特征包括：

通过卷积操作提取待处理的单帧图像或者时间相邻多帧图像中的空间局部特征；

对输入的卷积计算结果用非线性函数进行处理；以及

对待处理的单帧图像或者时间相邻多帧图像实施降采样。

10.如权利要求8所述的视频深度分析方法，其特征在于，所述时间标记是绝对时间、相对时间和帧序号中的一种或多种。

11.如权利要求8所述的视频深度分析方法，其特征在于，在根据带有时间标记的特征生成集合生成时空特征张量之前，还包括：

使用差分操作来强化不同时间的特征之间的差异；和/或

减少特征的维度。

12.如权利要求11所述的视频深度分析方法，其特征在于，通过线性降维或非线性降维减少特征的维度。