[发明专利]一种事件检测方法、装置及电子设备

说明书

本发明实施例提供了一种事件检测方法、装置及电子设备，其中，事件检测方法包括：从待检测的多媒体流中，提取多媒体帧序列；对多媒体帧序列进行光流分析，得到多媒体帧序列中各多媒体帧对应的光流图；将各多媒体帧与对应的光流图进行融合，并通过预先训练得到的卷积神经网络，对融合后得到的图像序列进行运算，得到携带有时序信息的空间特征图序列；通过预先训练得到的时空循环神经网络，按照时序信息，对空间特征图序列进行递归运算，得到时空特征图序列；基于时空特征图序列，利用预设多分类器，确定多媒体流中的事件类型。通过本方案，可以实现对通用事件的检测。

技术领域

本发明涉及多媒体技术领域，特别是涉及一种事件检测方法、装置及电子设备。

背景技术

事件检测是指通过对多媒体流进行分析、理解，确定多媒体流中的事件类型。传统的事件检测是通过人工检测的方式，对多媒体流中的事件进行识别，而随着场景越来越复杂、多媒体数据越来越庞大，人工检测的方式需要大量的劳动力，并且受人为因素影响，不可避免的存在效率低下、错误率高等问题。

为了应对上述问题，相应的事件检测方法中，通过将多媒体帧之间的运动点自适应地划为光流块，同一个目标的运动点将会划分到同一个光流块中，针对某些目标处于聚集状态的特殊事件，通过对光流块数目的判断，可以筛选出有效光流块群，再基于对有效光流块群中的主光流值进行分析，在主光流值大于一定程度时，可以确定该多媒体流中的事件类型。

但是，上述事件检测方法，仅能够检测出例如暴力事件等具有目标聚集、运动程度剧烈、冲突性大等特点的事件，而对于例如击剑、骑车、跑步等通用事件，无法检测出事件类型。

发明内容

本发明实施例的目的在于提供一种事件检测方法、装置及电子设备，以实现对通用事件的检测。具体技术方案如下：

第一方面，本发明实施例提供了一种事件检测方法，所述方法包括：

从待检测的多媒体流中，提取多媒体帧序列；

对所述多媒体帧序列进行光流分析，得到所述多媒体帧序列中各多媒体帧对应的光流图；

将各多媒体帧与对应的光流图进行融合，并通过预先训练得到的卷积神经网络，对融合后得到的图像序列进行运算，得到携带有时序信息的空间特征图序列；

通过预先训练得到的时空循环神经网络，按照所述时序信息，对所述空间特征图序列进行递归运算，得到时空特征图序列；

基于所述时空特征图序列，利用预设多分类器，确定所述多媒体流中的事件类型。

可选的，所述从待检测的多媒体流中，提取多媒体帧序列，包括：

按照预设间隔，对待检测的多媒体流进行预采样，得到多个多媒体帧；

采用预设滑动窗口机制，从所述多个多媒体帧中提取预设数量个多媒体帧，组成多媒体帧序列。

可选的，所述卷积神经网络为三维卷积神经网络；

所述通过预先训练得到的卷积神经网络，对融合后得到的图像序列进行运算，得到携带有时序信息的空间特征图序列，包括：

针对融合后得到的图像序列中的各图像，通过预先训练得到的三维卷积神经网络中的多个卷积层和多个下采样层，对该图像进行交替运算，得到对应的空间特征图；

根据各多媒体帧的时序信息，在对应的空间特征图中填充所述时序信息，组成携带有所述时序信息的空间特征图序列。

可选的，所述时空循环神经网络为基于卷积运算的长短期记忆递归神经网络；

所述通过预先训练得到的时空循环神经网络，按照所述时序信息，对所述空间特征图序列进行递归运算，得到时空特征图序列，包括：