[发明专利]一种可穿戴式多模态情绪状态监测装置

权利要求书

1.一种可穿戴式多模态情绪状态监测装置，其特征在于，包括：VR眼镜、穿戴式多模态信号采集模块、智能计算模块。

2.一种如权利要求1所述的可穿戴式多模态情绪状态监测装置，其特征在于，所述的VR眼镜通过虚拟现实技术，建立面向智能化现实社会场景的情绪诱发场景；VR眼镜用于提供更具沉浸感、临场感、交互感的虚拟现实技术，建立面向智能化现实社会场景的情绪诱发场景，达到更真实有效地诱发在实际生活状态下的目标情绪。

3.一种如权利要求1所述的可穿戴式多模态情绪状态监测装置，其特征在于，所述的穿戴式多模态信号采集模块分别从该模块佩戴者的头、眼、手腕以及胸采集脑电、肌电、皮电和心电信号，从佩戴者眼部、嘴部记录视觉行为表现；穿戴式多模态信号采集装置采用生理信号和外部行为相结合的方式实现对佩戴者生理状态的监测。

4.一种如权利要求1或3所述的可穿戴式多模态情绪状态监测装置，其特征在于，所述的穿戴式多模态信号采集模块包括：脑电EEG采集单元、面部肌电EMG采集单元、皮电GSR采集单元、心电ECG采集单元、眼部图像采集单元和嘴部图像采集单元；

脑电EEG采集单元，用于采集脑电信号，并传输到智能计算模块；

面部肌电EMG采集单元，用于采集肌电信号，并传输到智能计算模块；

皮电GSR采集单元，用于采集皮电信号，并传输到智能计算模块；

心电ECG采集单元，用于采集心电信号，并传输到智能计算模块；

眼部图像采集单元，用于采集面部表情的眼部图像信号，并传输到智能计算模块；

嘴部图像采集单元，用于采集面部表情的嘴部图像信号，并传输到智能计算模块。

5.一种如权利要求1所述的可穿戴式多模态情绪状态监测装置，其特征在于，智能计算模块用以对多维信号进行预处理、对多模异质数据进行特征抽象、对多源特征进行协同表征与融合，运用多层感知机模型进行多任务回归学习，最后进行多维情绪的判别和结果的输出。

6.一种如权利要求1所述的可穿戴式多模态情绪状态监测装置，其特征在于，智能计算模块的处理过程包括：

首先，智能计算模块对各信号进行预处理，针对四种生理信号的频率分布以及不同干扰来源特性，分别采取相应的方法对信号进行预处理，去除各种伪迹，从而保留有效的生理信号数据段；

根据多模态生理信号和视频信号的特点分别提取其特征，使用深层架构通过数据中的非线性交互来有效地生成特征；针对不同信号的频域、时域以及非线性动力学特性提取与情绪有关的特征参数；针对视频图像数据，利用计算机视觉技术以及深度卷积神经网络、循环神经网络深度学习方法估计多种行为信号，包括根据眼部图像估计视线方向，根据眼部和嘴部图像估计相应区域的面部肌肉运动，基于维度观测量模型估计出面部局部区域反映的愉悦度、激活度及优势度，并以多种行为信号的编码和表征作为特征；

其次，从特征层面对多源特征进行融合，建立多模态深度信念网络框架作为特征融合模型；各生理信号特征和视觉行为特征均设置有独立的隐藏层，得到每一种模态的统一高层表示特征，去除单一模态中的中的冗余特征，同时将模态中不同层次的特征融合成一个统一的、规范化的高层特征；在各模态特征的融合阶段，引入注意力机制，为每种模态自动学习注意力系数，注意力系数表示该模态对情绪识别的重要性，随后将各模态特征乘以注意力系数，对关键特征进行自适应选择；针对信号缺失的模态，利用图卷积网络建模各模态特征之间的互补和互斥关系，引入基于对抗生成网络的预测机制，对缺失信号的特征进行补全；采用双模深度信念网络模型，从生理信号和行为信号两个模态的统一高层特征中获得深层多模态特征；

通过深度信念网络获得多模态特征；深度信念网络是由多个受限玻尔兹曼机堆叠而成，每个受限玻尔兹曼机又分为显层和隐层；对于一个典型的受限玻尔兹曼机，其能量函数定义如下：

其中，v_i和h_i分别表示第i个显层神经元和隐层神经元，I和J分别为显层神经元和隐层神经元的总数目，θ为{w,b,a}，是一种模型连接参数，其代表权重w和偏置量a、b的一种组合，σ为一种高斯噪声标准差；

通过采用双模深度信念网络模型，从生理信号和行为信号两个模态的统一高层特征中获得深层多模态特征；

最后，面向社会生活的场景，本装置对其中常见的多维情绪焦虑、愤怒、恐惧、高兴进行多等级评估；基于融合的多模态特征，利用多层感知机模型进行多任务有序回归学习，估计出每种情绪的评级得分；对被试者情绪进行感知识别，并对其5级情绪强度进行计算分析。