[发明专利]双模态情感识别模型训练方法及双模态情感识别方法

说明书

本申请提供了一种双模态情感识别模型训练方法及双模态情感识别方法，其中，该双模态情感识别模型训练方法包括：将语音训练数据输入第一神经网络模型进行训练，以得到语音情感识别模型；将图像训练数据输入第二神经网络模型，采用第一损失函数进行第一阶段的有监督训练，以得到第一阶段的初始图像情感识别模型；将图像训练数据输入第一阶段的初始图像情感识别模型，采用第二损失函数进行第二阶段的有监督训练，以得到目标图像情感识别模型，将所述语音情感识别模型及所述目标图像情感识别模型进行决策级融合，以得到双模态情感识别模型。

技术领域

本申请涉及语音处理和图像处理技术领域，具体而言，涉及一种双模态情感识别模型训练方法及双模态情感识别方法。

背景技术

双模态情感识别融合了语音信号处理、数字图像处理、模式识别、心理学等多种学科，是人机交互的重要分支，有助于为人机交互提供更好、更人性化的用户体验，使得机器人能够感知用户的情感状态并进行分析、随之产生相应的响应，因此，情感识别作为机器人的一项重要能力有着广泛的研究和应用前景。但是现有的情感识别的准确率相对较低。

发明内容

有鉴于此，本申请实施例的目的在于提供一种双模态情感识别模型训练方法及双模态情感识别方法。能够达到更准确地识别出用户的情感效果。

第一方面，本申请实施例提供了一种双模态情感识别模型训练方法，包括：

将语音训练数据输入第一神经网络模型进行训练，以得到语音情感识别模型；

将图像训练数据输入第二神经网络模型，采用第一损失函数进行第一阶段的有监督训练，以得到第一阶段的初始图像情感识别模型；

将所述图像训练数据输入所述第一阶段的初始图像情感识别模型，采用第二损失函数进行第二阶段的有监督训练，以得到目标图像情感识别模型；

将所述语音情感识别模型及所述目标图像情感识别模型进行决策级融合，以得到双模态情感识别模型。

结合第一方面，本申请实施例提供了第一方面的第一种可能的实施方式，其中：所述将图像训练数据输入第二神经网络模型，采用第一损失函数进行第一阶段的有监督训练，以得到第一阶段的初始图像情感识别模型的步骤，包括：

将所述图像训练数据输入所述第二神经网络模型，采用交叉熵损失函数进行第一阶段的有监督训练，以得到第一阶段的初始图像情感识别模型；

所述将所述图像训练数据输入所述第一阶段的初始图像情感识别模型，采用第二损失函数进行第二阶段的有监督训练，以得到目标图像情感识别模型的步骤，包括：

将所述图像训练数据输入所述第一阶段的初始图像情感识别模型，采用焦点损失函数进行第二阶段的有监督训练，以得到目标图像情感识别模型。

本申请实施例提供的图像情感识别模型训练方法，由于难分人脸表情样本的存在，直接采用交叉熵损失函数进行网络训练不能有效解决表情错分问题，因此在人脸表情识别中使用了双阶段训练策略来提取更具可区分性的人脸表情特征。详细地，在图像情感识别模型训练的第一阶段使用交叉熵损失函数进行有监督的训练使训练得到的模型具有初步的区分能力，进一步地第二阶段使用焦点损失函数进行有监督的训练使训练得到的模型能够对易混淆的特征进行细致的区分，从而可以使训练得到的模型的识别的准确率相对更高。

结合第一方面或第一方面的第一种可能的实施方式，本申请实施例提供了第一方面的第二种可能的实施方式，其中：所述第二神经网络模型包括激活函数、优化器，所述激活函数包括线性整流函数，所述优化器包括随机梯度下降算法。

本申请实施例提供的图像情感识别模型训练方法，结合上述的线性整流函数可以更好地适应图像情感识别模型所需的多样化要求，优化器包括随机梯度下降算法可以实现相对快速收敛，提高图像情感识别模型的训练速度。