[发明专利]多模信息识别方法、装置、存储介质及电子设备

说明书

本发明提供了一种多模信息识别方法、装置、存储介质及电子设备，该识别方法首先获取待识别视频的特征参数，然后将特征参数输入经过训练的目标信息预警模型，由目标预警模型输出目标视频表达倾向。可见，本方案提供了一种基于预警模型，自动对多模信息进行的筛选的技术方案，提高了筛选效率。

技术领域

本发明涉及信息识别技术领域，具体涉及一种多模信息识别方法、装置、存储介质及电子设备。

背景技术

目前，一些特定的领域，例如公安领域，需要对视频的内容进行识别，而当前的内容识别是通过人工的方式进行筛选，其筛选效率较低。

因此，如何提供一种多模信息识别方法，能够自动进行多模信息的筛选，并提高筛选效率，是本领域技术人员亟待解决的一大技术难题。

发明内容

有鉴于此，本发明实施例提供了一种多模信息识别方法，能够自动进行多模信息的筛选，提高了筛选效率。

为实现上述目的，本发明实施例提供如下技术方案：

一种多模信息识别方法，包括：

获取待识别视频的特征参数，所述特征参数至少包括人脸特征信息、人物行为特征信息、活动场景特征信息、字幕内容特征信息、视频背景特征信息、音频特征信息中的一个或多个；

将所述特征参数输入经过训练的目标信息预警模型，由所述目标预警模型输出目标视频表达倾向。

可选的，还包括：

获取用户基于所述目标视频表达倾向触发的用户确认结果；

基于所述用户确认结果，生成正负样本集合；

基于所述正负样本集合，训练所述目标信息预警模型。

可选的，所述将所述特征参数输入经过训练的目标信息预警模型，由所述目标预警模型输出目标视频表达倾向，包括：

获取每个特征参数在所述目标信息预警模型中的权重；

基于所述权重，将输入所述目标信息预警模型的所述特征参数进行加权处理，输出目标视频表达倾向。

可选的，所述基于所述正负样本集合，训练所述目标信息预警模型，包括：

获取所述正负样本集合中各视频的索引信息；

基于所述索引信息，训练所述目标信息预警模型。

一种多模信息识别装置，包括：

第一获取模块，用于获取待识别视频的特征参数，所述特征参数至少包括人脸特征信息、人物行为特征信息、活动场景特征信息、字幕内容特征信息、视频背景特征信息、音频特征信息中的一个或多个；

处理模块，用于将所述特征参数输入经过训练的目标信息预警模型，由所述目标预警模型输出目标视频表达倾向。

可选的，还包括：

第二获取模块，用于获取用户基于所述目标视频表达倾向触发的用户确认结果；

生成模块，用于基于所述用户确认结果，生成正负样本集合；

训练模块，用于基于所述正负样本集合，训练所述目标信息预警模型。

可选的，所述处理模块包括：

第一获取单元，用于获取每个特征参数在所述目标信息预警模型中的权重；

处理单元，用于基于所述权重，将输入所述目标信息预警模型的所述特征参数进行加权处理，输出目标视频表达倾向。

可选的，所述训练模块包括：