[发明专利]多模信息识别方法、装置、存储介质及电子设备

权利要求书

1.一种多模信息识别方法，其特征在于，包括：

获取待识别视频的特征参数，所述特征参数至少包括人脸特征信息、人物行为特征信息、活动场景特征信息、字幕内容特征信息、视频背景特征信息、音频特征信息中的一个或多个；

将所述特征参数输入经过训练的目标信息预警模型，由所述目标预警模型输出目标视频表达倾向。

2.根据权利要求1所述的多模信息识别方法，其特征在于，还包括：

获取用户基于所述目标视频表达倾向触发的用户确认结果；

基于所述用户确认结果，生成正负样本集合；

基于所述正负样本集合，训练所述目标信息预警模型。

3.根据权利要求1所述的多模信息识别方法，其特征在于，所述将所述特征参数输入经过训练的目标信息预警模型，由所述目标预警模型输出目标视频表达倾向，包括：

获取每个特征参数在所述目标信息预警模型中的权重；

基于所述权重，将输入所述目标信息预警模型的所述特征参数进行加权处理，输出目标视频表达倾向。

4.根据权利要求2所述的多模信息识别方法，其特征在于，所述基于所述正负样本集合，训练所述目标信息预警模型，包括：

获取所述正负样本集合中各视频的索引信息；

基于所述索引信息，训练所述目标信息预警模型。

5.一种多模信息识别装置，其特征在于，包括：

第一获取模块，用于获取待识别视频的特征参数，所述特征参数至少包括人脸特征信息、人物行为特征信息、活动场景特征信息、字幕内容特征信息、视频背景特征信息、音频特征信息中的一个或多个；

处理模块，用于将所述特征参数输入经过训练的目标信息预警模型，由所述目标预警模型输出目标视频表达倾向。

6.根据权利要求5所述的多模信息识别装置，其特征在于，还包括：

第二获取模块，用于获取用户基于所述目标视频表达倾向触发的用户确认结果；

生成模块，用于基于所述用户确认结果，生成正负样本集合；

训练模块，用于基于所述正负样本集合，训练所述目标信息预警模型。

7.根据权利要求5所述的多模信息识别装置，其特征在于，所述处理模块包括：

第一获取单元，用于获取每个特征参数在所述目标信息预警模型中的权重；

处理单元，用于基于所述权重，将输入所述目标信息预警模型的所述特征参数进行加权处理，输出目标视频表达倾向。

8.根据权利要求6所述的多模信息识别装置，其特征在于，所述训练模块包括：

第二获取单元，用于获取所述正负样本集合中各视频的索引信息；

训练单元，用于基于所述索引信息，训练所述目标信息预警模型。

9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至4中任意一项所述的多模信息识别方法。

10.一种电子设备，设备包括至少一个处理器、以及与处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行如权利要求1至4中任意一项所述的多模信息识别方法。