[发明专利]一种可穿戴式多模态情绪状态监测装置

说明书

本发明公开了一种基于可穿戴式多模态情绪监测的装置。包括：VR眼镜，穿戴式多模态信号采集模块，智能计算模块；VR眼镜用于建立智能化交互性的现实社会场景的情绪诱发场景；穿戴式多模态情绪采集模块从佩戴者的头部、脸部、胸部以及手腕采集脑电、肌电、心电、皮肤电、眼部图像和嘴部图像的多模态生理信息；智能计算模块用于对多维信号进行预处理、对多模异质数据进行特征抽象、对多源特征进行协同表征与融合，运用多层感知机模型进行多任务回归学习，最后进行多维情绪的判别和结果的输出。本发明解决了传统情绪评估无定量分析、无测试器材等问题，为评估、监测多维情绪提供了可靠的实验范式、机制理论以及设备环境。

技术领域

本发明涉及人机交互的智能情绪监测技术领域，具体是涉及一种基于可穿戴式多模态智能情绪监测装置。

背景技术

情绪是一种常见的心理现象，在人们的生活中扮演着重要的角色。在现代社会，随着科技的不断进步，人们对于自己身心状态的实时监控的需求日益增加。一方面，人们希望通过对自己的身心状态进行实时的监控与了解，在身心出现问题前起到提前预警以及及时解决的作用；另一方面，在工作环境中，对自身情绪进行实时监测和准确评估可以避免在工作中出现人为失误，对提高工作绩效起着重要的作用。

情绪是神经和躯体共同作用的结果，构造情绪的感觉依赖于大脑系统对身体反应的映射与调节。关于情绪的经典和现代理论都认为，内感受(对来自于身体和内脏反馈的感觉)对情绪体验来说至关重要，二者之间的联系已被多个研究所证实。1977年，美国麻省理工大学MIT实验室的Picard教授通过实验证明了基于人体信息提取的情感识别是可行的。

目前关于情绪识别的研究多是从表情、姿态、语音语调等接触式方法入手，其监测指标较为单一，而以非接触式为主的人体信息采集的形式展开的情绪监测，对情绪的监测要求无感化，更能满足智能化可交互穿戴式的情绪监测的需求。

针对传统研究难以诱发准确、持久的目标情绪状态，本装置拟采用更具沉浸感、临场感、交互感的虚拟现实技术建立面向智能化现实社会场景的情绪诱发实验范式，可更真实、有效的诱发被试对象在实际生活状态下的目标情绪，在此基础上通过穿戴式交互的传感器信号复用，实现对情绪的良好诱发和准确评定，保证了神经信号采集的稳定性，实现了多种信息互补，保持了较高的信噪比，有效获取了面向人的情绪多模态生理与视觉行为数据集。

发明内容

针对为在多模态生理数据采集过程中存在的多模数据信息冗余、缺失、异质等问题，本发明目的是提供一种穿戴式多模态情绪监测装置，利用穿戴式采集脑电、心电、皮肤电、肌电、眼部图像和嘴部图像的多模态信息，实现对人情绪状态的准确实时的监测。

本发明的技术方案如下：

一种可穿戴式多模态情绪状态监测装置，包括：VR眼镜、穿戴式多模态信号采集模块、智能计算模块。

VR眼镜通过虚拟现实技术，建立面向智能化现实社会场景的情绪诱发场景。VR眼镜用于提供更具沉浸感、临场感、交互感的虚拟现实技术，建立面向智能化现实社会场景的情绪诱发场景，达到更真实有效地诱发在实际生活状态下的目标情绪。

穿戴式多模态信号采集模块分别从该模块佩戴者的头、眼、手腕以及胸采集脑电、肌电、皮电和心电信号，从佩戴者眼部、嘴部记录视觉行为表现。穿戴式多模态信号采集装置采用生理信号和外部行为相结合的方式实现对佩戴者生理状态的监测。

所述的穿戴式多模态信号采集模块包括：脑电EEG采集单元、面部肌电EMG采集单元、皮电GSR采集单元、心电ECG采集单元、眼部图像采集单元和嘴部图像采集单元；

脑电EEG采集单元，用于采集脑电信号，并传输到智能计算模块；

面部肌电EMG采集单元，用于采集肌电信号，并传输到智能计算模块；

皮电GSR采集单元，用于采集皮电信号，并传输到智能计算模块；