[发明专利]一种基于多模态识别的自学习情感交互方法

权利要求书

1.一种基于多模态识别的自学习情感交互方法，其特征在于，所述的自学习情感交互方法包括以下步骤：

S1、利用麦克风阵列和摄像头非接触式通道分别采集语音、人脸和手势信息；

S2、提取语音、人脸和手势信号特征，初步得到语音情感特征l、人脸特征f、手势特征h，记N＝{l，f，h}，其中，N是语言情感特征l、人脸特征f、手势特征h信息的集合；

S3、将语音情感特征l、人脸特征f、手势特征h输入到不同的双向LSTM网络层，得到单模态信息和多模态交互信息，根据单模态信息和多模态交互信息得到语音情感模态、人脸模态以及手势模态的三模态融合特征；

S4、基于XGBOOST学习算法，结合多模态融合特征和情绪历史状态曲线预测用户情绪，选择交互模式；

S5、利用麦克风阵列和摄像头非接触式通道多次分别采集语音、人脸和手势信号，并分别提取语音情感特征l、人脸特征f、手势特征h，得到情绪状态曲线反馈，并以此进行对话记忆网络优化；

S6、在相应交互模式下，通过优化后的对话记忆网络给出交互应答；

其中，所述的步骤S2过程如下：

S21、对采集的语音信息，基于隐马尔可夫模型，提取语音Mel滤波器组倒谱特征，包括短时能量、共振峰、子带能量的短时特征，得到语言情感特征l；

S22、对采集的人脸信息，输入到多层卷积神经网络，用6个5x5的卷积核过滤器进行卷积，得到人脸特征f；

S23、对采集的手势信息，基于手势的Hu矩以及指尖数，输入到BP神经网络，得到手势特征h；

其中，所述的步骤S3过程如下：

S31、将语音情感特征l、人脸特征f、手势特征h分别通过私有的双向LSTM网络层进行编码，获得单个模态的内部变化信息，经过私有的双向LSTM网络层向量拼接得到单模态的语音情感表示人脸表示和手势表示

S32、将语音情感特征l、人脸特征f、手势特征h分别进行两两组合得到3种双模态信息，将3种双模态信息通过共享的双向LSTM网络层，获得双模态之间的动态交互作用信息，将经过共享的双向LSTM网络层向量拼接得到的双模态组合表示如下：

a₁为语音情感和人脸的双模态组合，经过共享的双向LSTM层得到的语音情感表示和人脸表示

a₂为语音情感和手势的双模态组合，经过共享的双向LSTM层得到的语音情感表示和手势表示

a₃为人脸和手势的双模态组合，经过共享的双向LSTM层得到的人脸表示和手势表示

S33、将语音情感特征l、人脸特征f、手势特征h通过共享的双向LSTM网络层，分别获得3种模态之间的动态交互作用信息，其中，语音情感特征l经过共享的双向LSTM网络层的语音情感表示为人脸特征f经过共享的双向LSTM网络层的人脸表示为手势特征h经过共享的双向LSTM网络层的手势表示

S34、将私有的双向LSTM网络层与共享的双向LSTM网络层获得的模态信息融合到一起，通过向量拼接操作，分别获得语音情感模态信息、人脸模态信息以及手势模态信息的表示为：

S35、将语音情感模态信息、人脸模态信息以及手势模态信息进行向量拼接，获得语音情感模态、人脸模态以及手势模态的三模态融合特征表示：

其中，⊕表示向量拼接；

其中，所述的步骤S4过程如下：

S41、通过随机抽样采集人对多种模态信息的情绪识别数据，通过对该数据进行标注，获得多模态情绪识别的类人化识别数据集；

其中，所述的人对多种模态信息的情绪识别数据包括多模态信息特征矩阵F和情绪结果矩阵E，其中，多模态信息特征矩阵F和情绪结果矩阵E的定义分别如下：

将多模态信息特征矩阵F和情绪结果矩阵E合并得到输入矩阵S_i：

样本数据经过标注后导入输出矩阵S_o：

其中，F_i，i＝0,1,2…n为多模态信息的完整融合特征，E_i，i＝0,1,2…n为情绪状态样本数据，C_i，i＝0,1,2…n为交互模式输出标注数据，下标i代表第i个样本数据，n为样本容量；

S42、使用XGBOOST学习算法将获得的多模态情绪识别的类人化识别数据集训练为一系列CART树，其过程为：

设置CART树的数量和初始权重；

导入一组类人化识别数据集，根据初始权重产生一棵CART树，然后逐渐迭代，每次迭代过程中增加一棵CART树，逐渐形成众多树模型集成的强评估器，导入多组类人化识别数据集，采用boosting式集成学习算法，对权重进行优化，得到基于多模态融合特征的情绪识别网络初步框架；

S43、记录下第n次交互时的情绪识别数据T_n，结合前n-1次情绪识别的历史数据T₁～T_n-1，采取非线性插值的方法，拟合出情绪历史状态曲线；

S44、对于多模态融合特征的情绪识别网络，使其结合情绪历史状态曲线上各点的情绪识别数据，再次使用XGBOOST学习算法重新训练，获得结合多模态特征和情绪历史状态的情绪识别网络；其中，所述的情绪识别网络为三层卷积神经网络，使用3个5x5的卷积核过滤器进行卷积，情绪识别网络的输入为语音情感模态、人脸模态以及手势模态的三模态融合特征，情绪识别网络的输出为情绪识别结果；

其中，所述的步骤S5过程如下：

将第n次交互时的情绪识别数据T_n反馈给情绪历史状态，拟合出新的情绪历史状态曲线；将对话内容反馈给对话记忆网络，对话记忆网络重新进行权重处理，实现对话记忆网络的优化，通过此次交互实现数据集更新和网络优化，实现自学习功能；

其中，所述的步骤S5过程如下：

S61、将多模态特征输入到经过训练的情绪识别网络，获取情绪识别数据，选择交互模式；

S62、在相应交互模式下，将对话内容输入到对话记忆网络，抽取对话记忆，获得交互应答；其中，所述的对话记忆网络包括输入编码层、记忆更新层、记忆卡、输出层、应答层，分别说明如下：

输入编码层I：输入为文本，该层的输入即整个对话记忆网络的输入，输出为网络中内在向量，该层的输出作为记忆更新层的输入；

记忆更新层G：输入为网络中内在向量，输出为根据内在向量更新后的对话记忆，该层的输出作为记忆卡的输入；

记忆卡M：用于存储对话记忆，记忆更新层可对其进行读、写操作，即数据的双向传输，该层的输出作为输出层的输入；

输出层O：输入为记忆卡中读取的对话记忆，输出为结合特定问题后给出的应答向量，该层的输出作为应答层的输入；

应答层R：输入为应答向量，输出为应答向量对应的文本格式，该层的输出即整个对话记忆网络的输出。

2.根据权利要求1所述的一种基于多模态识别的自学习情感交互方法，其特征在于，所述的多模态情绪识别的类人化识别数据集包括6种不同的情绪，分别是：愤怒、恐惧、厌恶、悲伤、高兴和惊讶。