[发明专利]一种基于人脸和声音的情绪预测方法和系统

说明书

本发明公开了一种基于人脸和声音的情绪预测方法和系统，其方法的步骤包括：首先采集人脸图像和语音录音样本，接着将人脸图像输入到卷积神经网络中以特定形式提取图像中的空间特征信息，同时将人脸图像输入到局部二进制卷积网络中提取图像的纹理特征信息，将人脸图像的空间特征信息和纹理特征信息进行融合输出增强的人脸特征，然后将语音录音输入到预处理模型计算每个窗口的梅尔频谱图将梅尔频谱图输入到声音编码模型对各个范围的短期梅尔频谱图的相关性进行建模，再通过语音片段嵌入融合器模型输出语音特征，最后将人脸特征和语音特征进行融合输入到输出模型来预测情绪。

技术领域

本发明涉及计算机领域，具体涉及一种基于人脸和声音的情绪预测方法和系统。

背景技术

情绪预测是一个重要研究领域，被广泛应用在各种领域，包括医疗，安全和人机交互等。由于情绪的表达非常复杂会通过不用程度或强度表现出现，因此想要准确快速预测情绪是一项艰巨的任务。目前情绪预测多通过简单的分类算法对单个情绪进行识别分类，精度不高，无法满足实际应用需求。

发明内容

本发明所要解决的技术问题是现有技术情绪预测多通过简单的分类算法对单个情绪进行识别分类，精度不高，无法满足实际应用需求，目的在于提供一种基于人脸和声音的情绪预测方法和系统，可高效准确实现情绪预测任务。

本发明通过下述技术方案实现：

一种基于人脸和声音的情绪预测方法，包括以下步骤：

S1.采集人脸图像样本和语音录音样本；

S2.将所述人脸图像样本输入到卷积神经网络中并提取得到图像中的空间特征信息；同时将所述人脸图像样本输入到局部二进制卷积网络中提取图像的纹理特征信息，将所述图像的空间特征信息和所述纹理特征信息进行融合输出增强的人脸特征；

S3.将所述语音录音样本输入到预处理模型中计算每个窗口的梅尔频谱图；将所述梅尔频谱图输入到声音编码模型对各个范围的短期梅尔频谱图的相关性进行建模，再通过语音片段嵌入融合器模型输出语音特征；

S4.将所述人脸特征和所述语音特征进行融合输入到输出模型来预测情绪。

进一步，步骤S2的具体如下：

S21.将人脸图像样本依次输入到多个卷积层，提取图像的空间特征信息；

S22.将人脸图像样本输入到固定过滤层，所述固定过滤层是由多个固定滤波器组成，对人脸图像样本进行卷积生成差异图，使用非线性激活函数对差异图进行映射；使用不同的可学习的参数来合成差异图，生成纹理特征信息；

S23.将所述空间特征信息和所述纹理特征信息进行融合处理，生成增强的人脸特征信息。

进一步，步骤S3中，所述具体步骤如下：

S31.利用短时滑动窗口提取语音片段，对所述语音片段进行短时傅里叶变换，生成每个片段的梅尔频谱图；

S32.利用多个一维初始模块组成的一维卷积神经网络来处理所述梅尔频谱图，所述一维初始模块是由多个卷积层组成，每个卷积层后都使用一个激活函数和归一化函数，对各个范围的短期梅尔频谱图的相关性进行建模，生成一系列梅尔频谱序列；

S33.将所述一系列梅尔频谱序列转换成嵌入向量，输入到注意力层保留嵌入向量中的有用信息，将注意力层输出与语音嵌入向量融合后再进行线性变换，生成细粒度特征表示，对细粒度特征沿着时间维度进行池化操作，生成全局融合特征向量。

进一步，步骤S4中，所述具体步骤如下：

S41.将所述人脸特征和所述语音特征进行融合操作，经过全连接层和softmax层生成表情预测。