[发明专利]一种视频事件识别方法、系统、电子设备及介质

权利要求书

1.一种视频事件识别方法，其特征在于，包括：

获取待识别事件的目标视频片段，并根据所述目标视频片段确定与所述目标视频片段对应的视频帧信息、光流图片信息和音频信息；所述目标视频片段是从完整视频内容的中间时间段进行截取；

基于与所述目标视频片段对应的视频帧信息、光流图片信息和音频信息确定所述目标视频片段的视频事件特征；

根据所述目标视频片段的视频事件特征确定与所述目标视频片段对应的视频事件信息；

基于与所述目标视频片段对应的视频帧信息、光流图片信息和音频信息确定所述目标视频片段的视频事件特征，包括：

将与所述目标视频片段对应的视频帧信息、光流图片信息和音频信息输入到预设特征提取模型，输出与所述视频帧信息对应的视频帧特征、与所述光流图片信息对应的光流图片特征以及与所述音频信息对应的音频特征；

根据所述视频帧特征、所述光流图片特征和所述音频特征生成所述目标视频片段的视频事件特征；

其中，所述视频帧特征包括物体特征、运动特征和场景特征，所述光流图片特征包括运动特征，所述音频特征包括声音特征；

其中，根据所述视频帧特征、所述光流图片特征和所述音频特征生成所述目标视频片段的视频事件特征，包括：

获取所述视频帧特征的概念特征和内容特征、所述光流图片特征的概念特征和内容特征以及所述音频特征的概念特征和内容特征；其中，所述概念特征是指各个预设特征提取模型输出的事件分类概率，所述内容特征是指在预设特征提取模型输出层之前的特征；

分别对所述视频帧特征的概念特征、所述光流图片特征的概念特征和所述音频特征的概念特征进行概念选择，将选择后的所述视频帧特征的概念特征、所述光流图片特征的概念特征和所述音频特征的概念特征分别与所述视频帧特征的内容特征、所述光流图片特征的内容特征以及所述音频特征的内容特征进行融合生成所述目标视频片段的视频事件特征。

2.根据权利要求1所述的方法，其特征在于，根据所述目标视频片段的视频事件特征确定与所述目标视频片段对应的视频事件信息，包括：

将所述目标视频片段的视频事件特征输入到预先训练好的分类器中，输出与所述目标视频片段对应的视频事件信息。

3.根据权利要求2所述的方法，其特征在于，还包括：

基于至少一个历史视频片段生成训练样本集；

将所述训练样本集输入到预先建立好的分类器中，得到所述历史视频片段的视频事件信息；

根据所述视频事件信息与期望视频事件信息对所述分类器的参数进行调整。

4.根据权利要求3所述的方法，其特征在于，所述预先建立好的分类器包括深度学习网络；

其中，将所述训练样本集输入到预先建立好的分类器中，得到所述历史视频片段的视频事件信息，包括：

将所述训练样本集输入到所述深度学习网络中，直接经过事件分类排序得到所述历史视频片段的视频事件信息；或者，

将所述训练样本集输入到所述深度学习网络中，确定大于预设概率阈值的视频事件信息后经过所述事件分类排序得到所述历史视频片段的视频事件信息。

5.根据权利要求1所述的方法，其特征在于，所述视频事件信息是所述待识别事件的目标视频片段所属事件的概率；或是，

所述视频事件信息是所述待识别事件的目标视频片段中识别出的事件，并将所述识别出的事件显示在终端上。