[发明专利]具有跨媒体信息融合功能的非接触式情绪监测方法

权利要求书

1.一种具有跨媒体信息融合功能的非接触式情绪监测方法，其特征在于，包括：

获取目标个体的面部可见光图像、目标个体的面部红外图像、目标个体的音频信息；

获取面部可见光图相中多个预定特征点的图像特征信息，和多个预定面部区域的图像特征信息，并基于所述多个预定特征点的图像特征信息和多个预定面部区域的图像特征信息，确定目标个体的第一情绪特征向量矩阵；

对所述音频信息依次进行预加重处理、分帧处理、加窗处理，并将处理后的音频信息输入长短期记忆网络中，利用长短期记忆网络提取输入的音频信息的的MFCC特征和LPCC特征，并基于所述MFCC特征和LPCC特征生成目标个体的第二情绪特征向量矩阵；

基于所述面部红外图像，确定目标个体的额头部位的平均温度信息，基于所述平均温度信息，确定血液灌注值；利用python中的opencv模块对血液灌注值进行处理，得到血液灌注伪彩色图，并利用双向GRU神经网络提取血液灌注伪彩色图中的图像特征，得到目标个体的第三情绪特征向量矩阵；

利用结构化稀疏投影矩阵U₁和U₂对第一情绪特征向量矩阵进行处理，得到第一情绪特征向量矩阵对应的第一私有模态矩阵、第一情绪特征向量矩阵对应的第一共享模态矩阵；

利用结构化稀疏投影矩阵U₁和U₂对第二情绪特征向量矩阵进行处理，得到第二情绪特征向量矩阵对应的第二私有模态矩阵、第二情绪特征向量矩阵对应的第二共享模态矩阵；

利用结构化稀疏投影矩阵U₁和U₂对第三情绪特征向量矩阵进行处理，得到第三情绪特征向量矩阵对应的第三私有模态矩阵、第三情绪特征向量矩阵对应的第三共享模态矩阵；

基于第一共享模态矩阵、第二共享模态矩阵、第三共享模态矩阵确定目标共享模态矩阵；

基于目标共享模态矩阵、第一私有模态矩阵、第二私有模态矩阵、第三私有模态矩阵，确定多模态特征矩阵；

利用神经网络的sorfmax层对多模态特征矩阵进行处理，得到目标个体针对每种预设情绪的概率特征信息；

将所述概率特征信息发送给客户端和显示端进行显示。

2.根据权利要求1所述的方法，其特征在于，所述基于所述平均温度信息，确定血液灌注值，包括：

利用SHT传热模型，对平均温度信息进行处理，得到血液灌注值。

3.根据权利要求1所述的方法，其特征在于，所述利用结构化稀疏投影矩阵U₁和U₂对第一情绪特征向量矩阵进行处理，得到第一情绪特征向量矩阵对应的第一私有模态矩阵、第一情绪特征向量矩阵对应的第一共享模态矩阵，包括：

利用如下公式计算所述第一私有模态矩阵、第一共享模态矩阵：

式中，A表示第一情绪特征向量矩阵，M_A表示第一私有模态矩阵，V_A表示第一共享模态矩阵。

4.根据权利要求1所述的方法，其特征在于，所述基于第一共享模态矩阵、第二共享模态矩阵、第三共享模态矩阵确定目标共享模态矩阵，包括：

利用如下公式计算所述目标共享模态矩阵：

V_x＝V_A+V_B+V_C

式中，Vx表示目标共享模态矩阵，V_A表示第一共享模态矩阵，V_B表示第二共享模态矩阵，V_C表示第三共享模态矩阵。

5.根据权利要求1所述的方法，其特征在于，所述基于目标共享模态矩阵、第一私有模态矩阵、第二私有模态矩阵、第三私有模态矩阵，确定多模态特征矩阵，包括：

利用如下公式确定所述多模态特征矩阵：

式中，表示多模态特征矩阵，M_A表示第一私有模态矩阵，M_B表示第二私有模态矩阵，M_C表示第三私有模态矩阵，V_x表示目标共享模态矩阵，α，β，γ，η为预设权重系数。

6.根据权利要求5所述的方法，其特征在于，所述预设权重系数满足如下关系：

α+β+γ+η＝1。