[发明专利]一种多模态情感识别方法及装置

说明书

本发明公开了一种多模态情感识别方法及装置，所述方法包括：将获取的原始音视频信号进行数据切分，得到多个待检测情感片段和每个待检测情感片段对应的多个设定长度的子片段，其中，每个子片段均包括多重模态；将每个具有多重模态的子片段带入训练好的多模态情感识别网络模型，获得每个子片段的情感类别；基于每个待检测情感片段中所有子片段的情感类别，分别对每个待检测情感片段进行情感识别，确定各待检测情感片段对应的情感类别；其中，所述多重模态包括：视频片段、音频片段和所属待检测情感片段中由音频片段识别得到的文本。本发明将多种模态进行融合大大提高了算法的识别准确率。

技术领域

本发明涉及情感识别领域，具体涉及一种多模态情感识别方法及装置。

背景技术

情感识别是人工智能、心理学、计算科学等多学科交叉的新兴领域，进入21世纪后，随着人工智能领域的快速发展，情感识别的需求越来越大。情感识别大体上可以分为语音情感识别，人脸情感识别和文本情感识别。传统的情感识别算法常常只着眼于单一模态，例如针对语音情感识别或文本情感识别，识别效果不尽如人意。

如今深度学习已经成为热门研究方向，深度学习与普通机器学习相比，主要的特点是深度学习的计算量巨大，在嵌入式系统上，用通用处理器做深度学习太慢，而GPU也存在功耗巨大价格昂贵等缺点，然而采用FPGA实现深度神经网络有快速，低功耗，同时延迟低，连接性强的独特优势。

由于语音情感识别、人脸情感识别和文本情感识别的实现基本依赖于神经网络，如何在解决单一模态情感识别算法效果不佳的同时提高运行效果亟需解决。

发明内容

对于现有单一模态情感识别算法效果不佳的问题，本发明提供的一种多模态情感识别方法，包括：

将获取的原始音视频信号进行数据切分，得到多个待检测情感片段和每个待检测情感片段对应的多个设定长度的子片段，其中，每个子片段均包括多重模态；

将每个具有多重模态的子片段带入训练好的多模态情感识别网络模型，获得每个子片段的情感类别；

基于每个待检测情感片段中所有子片段的情感类别，分别对每个待检测情感片段进行情感识别，确定各待检测情感片段对应的情感类别；

其中，所述多模态情感识别网络模型基于捕捉各模态之间的非线性关系，形成情感分类的联合判别特征表示后，再进行情感类别识别；所述多重模态包括：视频片段、音频片段和所属待检测情感片段中由音频片段识别得到的文本。

优选的，所述将每个具有多重模态的子片段带入训练好的多模态情感识别网络模型，获得每个子片段的情感类别，包括：

对子片段的文本进行分词和词嵌入处理，基于词嵌入后的文本获得语义情感特征；

基于子片段中的视频片段和音频片段提取视频情感特征和音频情感特征；

将所述音频情感特征、视频情感特征和语义情感特征分别拉伸为一维向量并拼接，将拼接得到的一维向量输入多模态情感识别网络模型中的深度置信网络得到融合情感特征；

将所述融合情感特征输入到分类器，获得所述子片段的情感类别。

优选的，所述基于子片段中的视频片段和音频片段提取视频情感特征和音频情感特征，包括：

从子片段的视频片段中随机选取一帧图像进行人脸检测，裁剪出人脸区域的图像；

从子片段的音频片段中提取梅尔倒谱；

将裁剪出人脸区域的图像作为多模态情感识别网络模型中CNN的输入，并将全连接层的输出作为视频情感特征；

将所述梅尔倒谱作为多模态情感识别网络模型中CRNN网络的输入，并将CRNN网络的隐藏层作为音频情感特征。