[发明专利]深度学习人机互适应运动想象脑机接口系统和训练方法

说明书

本发明公开的基于深度学习的人机互适应运动想象脑机接口系统和训练方法，解决了不同使用者间效果差异大、脑电信号稳定性差的问题。系统接有脑电数据采集、数据预处理、信号变换判别网络和视觉反馈呈现模块，还包括由原始脑电数据，信号转换目标图像和类别标签组成的数据集模块。训练方法包含通用预训练、互适应反馈校准、在线使用三阶段；互适应训练含多轮人机互适应训练，每轮训练含自由练习、任务想象收集数据和机器训练。本发明训练过程采用了“人在回路”的实时反馈，让使用者在试错中习得正确而稳定的可解码运动想象方式，提升了运动想象脑机接口的性能，实现对使用者运动想象的高精度稳定分类。主要用于满足高效的脑机交互需求。

技术领域

本发明属于信息技术领域，进一步涉及在生物交叉技术中通过使用者与深度神经网络(Deep Neural Network,DNN)的协同适应反馈训练实现DNN对使用者中运动想象脑电信息的个性化提 取，具体是一种基于深度学习的人机互适应运动想象脑机接口系统和训练方法，用于提升运动想 象脑机接口的性能以及实现对使用者运动想象的高精度稳定分类。

背景技术

脑机接口是大脑和外部设备间建立的直接连接通路。脑机接口(BCI)技术是生物科技和计算 机技术交叉融合的产物，是人类探索脑、开发脑的重要手段，同时也是当代科技列强的必争领域。 不仅如此脑机接口(BCI)技术在军事作战、疾病康复、消费娱乐等诸多领域都有一定的应用。例 如在军事领域，可以利用BCI技术来对车辆，武器等进行辅助控制；在日常生活中可以通过不同思 维活动产生的特定脑电信号，对外部设备如遥控，键盘，电灯等设备进行控制。还可以通过运动 想象脑机接口实现对于机器人的控制，让机器人根据人的意志做出相关反应，因此，对于BCI的研 究无论是在国家科技安全层面上还是在日常生活的各个领域内都具有重大的意义。

在BCI技术中，运动想象脑机接口(MI-BCI)有着重要的实用价值，不同于稳态视觉诱发 (SSVEP)等脑机接口需要诱发刺激，MI-BCI是基于自发脑电的脑机接口，无需使用者难以忍受 的诱发刺激，其使用的舒适性远高于SSVEP等的诱发型BCI。MI-BCI通过解码算法检测使用者在 想象肢体运动时大脑感觉运动区中自发的感觉运动节律(SMR)来判别当前使用者所想象的肢体 运动类别，进而实现人机交互和对机器设备的控制，为使用者提供更为自然的脑机交互体验。在 MI-BCI的EEG信号解码算法中，共空间模式(Common spatialpattern,CSP)和其改进算法是最有 效的特征提取方法。随着近年来深度学习技术的发展，众多基于深度学习的MI-BCI解码算法也被 提出。其中具有代表性的有Shiu Kumar等人提出的CSP-DNN和Lawhern Vernon等人提出的EEGNet 等深度学习方法。上述算法均在已有公开数据集上取得了很好的成绩排名，但由于人脑是活的生 物系统，其复杂性和时变性是研究脑机接口BCI的最大障碍。在MI-BCI技术的研究中，经常出现 的被测者的不稳定想象、错误想象，甚至一部分被测者(15％～30％)根本无法检测到感觉运动节 律SMR等问题。这使得算法的发展并没有解决前述的MI-BCI的基本难题，即被测者的不稳定想象、 错误想象和“BCI文盲”问题，MI-BCI的ITR进一步提升遭遇了瓶颈。

为解决上述难题，提升使用者运动想象时脑活动的正确性和SMR强度，研究人员提出了多种 MI-BCI反馈增强训练方法用以训练MI-BCI的使用者。高小榕等提出一种反馈训练范式，当被测者 想象指定任务时，屏幕上以箭头形式实时呈现分类器的分类结果，实现对人的反馈训练。Han-Jeong Hwang等给出一种更为形象的反馈范式，把EEG实时可视化为相应频带的脑地形图，提供给被测 者进行反馈训练。反馈训练方法有效提升了被测者的运动想象可判别的脑信号强度。但由于已有 的反馈方法都在特征提取阶段加入了固定的先验知识，例如限定了脑区或频带，使得反馈的结果 被限制在了研究人员的设定范围内。