[发明专利]基于认知与情绪状态多模态感知的脑机接口系统

权利要求书

1.一种基于认知与情绪状态多模态感知的脑机接口系统，其特征在于：包括便携式生理信号采集与分析系统、基于视频分析的行为识别系统、无线网关和数据融合与反馈计算机系统；

所述便携式生理信号采集与分析系统以及基于视频分析的行为识别系统均通过无线网关分别与数据融合与反馈计算机系统实现双向通讯连接；

所述数据融合与反馈计算机系统通过无线网关向便携式生理信号采集与分析系统以及基于视频分析的行为识别系统同步发送数据采集指令，然后二者分别进行数据生理信号和行为数据的同步采集与实时分析；

所述数据融合与反馈计算机系统收到所述分析结果后，对所获得的生理数据和行为数据进行融合计算并得到认知与情绪状态的估计结果，所述估计结果将进一步反馈给执行机构从而实现脑与机器的双向交互接口。

2.根据权利要求1所述的基于认知与情绪状态多模态感知的脑机接口系统，其特征在于：所述便携式生理信号采集与分析系统包括微处理器、用于采集原始脑电信号的双导脑电采集模块、用于采集与心率同步的脉冲信号的耳夹式红外心率采集模块、无线收发模块、SD卡读写模块、电源调节与管理模块、锂电池和USB充电模块，所述微处理器对存储于SD卡读写模块中的原始脑电信号和脉冲信号数据进行分析处理，并通过无线收发模块将分析处理结果实时发送至数据融合与反馈计算机系统；所述USB充电模块对锂电池充电。

3.根据权利要求2所述的基于认知与情绪状态多模态感知的脑机接口系统，其特征在于：所述原始脑电信号中可提取出反映大脑活动节律的脑电波功率谱，所述脑电波功率谱包括δ波、θ波、α波、β波和γ波；所述脉冲信号中可获得产生心率变异性时域和频率指标。

4.根据权利要求2所述的基于认知与情绪状态多模态感知的脑机接口系统，其特征在于：所述双导脑电采集模块由干电池供电，在采集脑电信号时，头皮位置的作用电极放置于双侧前额叶，参考电极和地电极分别放置于左右耳垂处。

5.根据权利要求1所述的基于认知与情绪状态多模态感知的脑机接口系统，其特征在于：所述基于视频分析的行为识别系统包括嵌入式平台、摄像机、无线收发模块和SD卡读写模块，所述嵌入式平台通过摄像机实时记录和分析用户的行为和面部表情并存储于SD卡读写模块，同时通过无线收发模块实时将行为和面部表情的数据发送至数据融合与反馈计算机系统。

6.根据权利要求1所述的基于认知与情绪状态多模态感知的脑机接口系统，其特征在于：所述数据融合与反馈计算机系统包括计算机和执行机构，所述计算机通过无线网关将采样指令同步发送给便携式生理信号采集与分析系统和基于视频分析的行为识别系统，实现生理信号和行为信号同步采集，并同时通过无线网关接受便携式生理信号采集与分析系统以及基于视频分析的行为识别系统的计算结果，该计算结果经过数据融合算法生成控制信号来驱动执行机构实现脑与机器的双向交互接口。

7.根据权利要求6所述的基于认知与情绪状态多模态感知的脑机接口系统，其特征在于：所述数据融合算法通过分析多模态指标与识别目标之间的关联关系获得认知与情绪状态识别的关键生理及行为指标。

8.根据权利要求6所述的基于认知与情绪状态多模态感知的脑机接口系统，其特征在于：所述执行机构为机械机构和虚拟3D场景中的任意一种。