[发明专利]基于认知与情绪状态多模态感知的脑机接口系统

说明书

技术领域

本发明涉及脑机接口领域，具体涉及一种用于认知/情绪层次的脑与信息系统交互的基于认知与情绪状态多模态感知的脑机接口系统。

背景技术

人脑是世界上最复杂的、威力最强大的系统，在人脑与机器之间建立脑机接口(Brain-Machine Interface，BMI)，即建立直接的信息通道和全新的交互方式，将涉及众多领域创新的前沿，对科技、经济、军事，甚至社会的发展影响巨大。

而脑机接口技术因其涉及众多领域创新的前沿，对科技、经济、军事，甚至社会的发展影响巨大，但截至目前，国内外脑机接口领域主要关注的是运动/感觉层次脑机接口领域的研究，只涉及到对脑低层次功能的解析和反馈。国内外脑机接口领域主要关注的是运动/感觉层次脑机接口研究，也取得了一些大的进展。现在不仅发展了一些由肌电、脑电、视觉、语音控制的信息系统，以修复一些动作功能(如行走、取物)、以及修复一些感知功能(如耳蜗、视力恢复)；还为脑或脊髓损伤、中风、脑瘫等因素导致的外周神经或肌肉运动功能受损人群开发了机能增强技术和设备。

现有技术中，有大量专利公开了运动/感觉层次脑机接口系统的构建方法，例如：《基于多模态脑机接口的智能轮椅》(CN201110268891.5)、《针对下肢的层级式功能性电刺激康复系统》(CN200910310630.8)、《一种基于运动想象与P300脑电电位的功能键选择方法》(CN201010509550.8)等。虽然运动/感觉层次脑机接口取得了长足进展，但运动/感觉层次脑机接口研究只涉及到对脑低层次功能的解析和反馈。近15年来，在认知神经科学、神经生化、心理生理计算、信息技术等相关学科的推动下，使得涉及认知和情绪等脑高级智能的脑机接口的研究变得可能。认知/情绪层面脑机接口涉及到对人认知、情感和决策行为的感知、解读、识别和反馈控制，直接涉及更广阔的国家战略需求。

此外，目前国内外认知与情绪状态分析与识别研究主要还是集中在对6种基本情感(高兴、悲伤、愤怒、恐惧、惊奇、厌恶)的识别及少量认知状态的识别，而采用的方法主要是单模态分析。目前已经发展的单模态认知与情绪评测方法存在一些局限，多模态信息感知与融合方法已经成为国际学术界公认的方案。但众多指标之间的关联关系、各模态之间的关联关系、各个模态对辨识目标的贡献率等多模态分析的关键问题没有得到很好的解决。

发明内容

发明目的：本发明的目的在于突破传统单模态脑功能感知方法存在的局限，从生理-行为多模态信息融合视角下实现对认知与情绪状态的实时感知与识别，最终提供一种基于认知与情绪状态多模态感知的脑机接口系统。

技术方案：本发明的一种基于认知与情绪状态多模态感知的脑机接口系统，包括便携式生理信号采集与分析系统、基于视频分析的行为识别系统、无线网关和数据融合与反馈计算机系统；所述便携式生理信号采集与分析系统以及基于视频分析的行为识别系统均通过无线网关分别与数据融合与反馈计算机系统实现双向通讯连接；所述数据融合与反馈计算机系统通过无线网关向便携式生理信号采集与分析系统以及基于视频分析的行为识别系统同步发送数据采集指令，然后二者分别进行数据生理信号和行为数据的同步采集与实时分析，所述数据融合与反馈计算机系统收到所述分析结果后，对所获得的生理数据和行为数据进行融合计算并得到认知与情绪状态的估计结果，所述估计结果将进一步反馈给执行机构从而实现脑与机器的双向交互接口。

进一步的，所述便携式生理信号采集与分析系统包括微处理器、用于采集原始脑电信号的双导脑电采集模块、用于采集与心率同步的脉冲信号的耳夹式红外心率采集模块、无线收发模块、SD卡读写模块、电源调节与管理模块、锂电池和USB充电模块，所述微处理器对存储于SD卡读写模块中的原始脑电信号和脉冲信号数据进行分析处理，并通过无线收发模块将分析处理结果实时发送至数据融合与反馈计算机系统；所述USB充电模块对锂电池充电。

进一步的，所述原始脑电信号中可提取出反映大脑活动节律的脑电波功率谱，所述脑电波功率谱包括δ波、θ波、α波、β波和γ波；所述脉冲信号中可获得产生心率变异性时域和频率指标。

进一步的，所述双导脑电采集模块由干电池供电，在采集脑电信号时，头皮位置的作用电极放置于双侧前额叶，参考电极和地电极分别放置于左右耳垂处。

进一步的，所述基于视频分析的行为识别系统包括嵌入式平台、摄像机、无线收发模块和SD卡读写模块，所述嵌入式平台通过摄像机实时记录和分析用户的行为和面部表情并存储于SD卡读写模块，同时通过无线收发模块实时将行为和面部表情的数据发送至数据融合与反馈计算机系统。