[发明专利]一种事件检测方法、装置及电子设备

权利要求书

1.一种事件检测方法，其特征在于，所述方法包括：

从待检测的多媒体流中，提取多媒体帧序列；

对所述多媒体帧序列进行光流分析，得到所述多媒体帧序列中各多媒体帧对应的光流图；

将各多媒体帧与对应的光流图进行融合，并通过预先训练得到的卷积神经网络，对融合后得到的图像序列进行运算，得到携带有时序信息的空间特征图序列；

通过预先训练得到的时空循环神经网络，按照所述时序信息，对所述空间特征图序列进行递归运算，得到时空特征图序列；

基于所述时空特征图序列，利用预设多分类器，确定所述多媒体流中的事件类型；

其中，所述时空循环神经网络为基于卷积运算的循环神经网络，每次递归运算的结果是每帧图像上的目标特征都融合了其他图像上的目标特征，所述时空循环神经网络是基于时间维度信息和空间维度信息进行卷积运算的；

所述从待检测的多媒体流中，提取多媒体帧序列，包括：

按照预设间隔，对待检测的多媒体流进行预采样，得到多个多媒体帧；

采用预设滑动窗口机制，从所述多个多媒体帧中提取预设数量个多媒体帧，组成多媒体帧序列。

2.根据权利要求1所述的方法，其特征在于，所述卷积神经网络为三维卷积神经网络；

所述通过预先训练得到的卷积神经网络，对融合后得到的图像序列进行运算，得到携带有时序信息的空间特征图序列，包括：

针对融合后得到的图像序列中的各图像，通过预先训练得到的三维卷积神经网络中的多个卷积层和多个下采样层，对该图像进行交替运算，得到对应的空间特征图；

根据各多媒体帧的时序信息，在对应的空间特征图中填充所述时序信息，组成携带有所述时序信息的空间特征图序列。

3.根据权利要求1所述的方法，其特征在于，所述时空循环神经网络为基于卷积运算的长短期记忆递归神经网络；

所述通过预先训练得到的时空循环神经网络，按照所述时序信息，对所述空间特征图序列进行递归运算，得到时空特征图序列，包括：

针对所述空间特征图序列中的各空间特征图，通过预先训练得到的基于卷积运算的长短期记忆递归神经网络，根据所述时序信息，按序将除该空间特征图自身以外的其他空间特征图融合至该空间特征图，得到对应的时空特征图；

由各空间特征图对应的时空特征图，组成时空特征图序列。

4.根据权利要求1所述的方法，其特征在于，所述基于所述时空特征图序列，利用预设多分类器，确定所述多媒体流中的事件类型，包括：

利用预设多分类器，根据特征空间与概率空间的映射关系，对所述时空特征图序列进行概率映射，确定所述多媒体流中的事件类型。

5.一种事件检测装置，其特征在于，所述装置包括：

提取模块，用于从待检测的多媒体流中，提取多媒体帧序列；

光流分析模块，用于对所述多媒体帧序列进行光流分析，得到所述多媒体帧序列中各多媒体帧对应的光流图；

空间特征图序列获取模块，用于将各多媒体帧与对应的光流图进行融合，并通过预先训练得到的卷积神经网络，对融合后得到的图像序列进行运算，得到携带有时序信息的空间特征图序列；

时空特征图序列获取模块，用于通过预先训练得到的时空循环神经网络，按照所述时序信息，对所述空间特征图序列进行递归运算，得到时空特征图序列；

分类模块，用于基于所述时空特征图序列，利用预设多分类器，确定所述多媒体流中的事件类型；

其中，所述时空循环神经网络为基于卷积运算的循环神经网络，每次递归运算的结果是每帧图像上的目标特征都融合了其他图像上的目标特征，所述时空循环神经网络是基于时间维度信息和空间维度信息进行卷积运算的；

所述提取模块，具体用于：

按照预设间隔，对待检测的多媒体流进行预采样，得到多个多媒体帧；

采用预设滑动窗口机制，从所述多个多媒体帧中提取预设数量个多媒体帧，组成多媒体帧序列。