[发明专利]深度学习人机互适应运动想象脑机接口系统和训练方法

摘要

本发明公开的基于深度学习的人机互适应运动想象脑机接口系统和训练方法，解决了不同使用者间效果差异大、脑电信号稳定性差的问题。系统接有脑电数据采集、数据预处理、信号变换判别网络和视觉反馈呈现模块，还包括由原始脑电数据，信号转换目标图像和类别标签组成的数据集模块。训练方法包含通用预训练、互适应反馈校准、在线使用三阶段；互适应训练含多轮人机互适应训练，每轮训练含自由练习、任务想象收集数据和机器训练。本发明训练过程采用了“人在回路”的实时反馈，让使用者在试错中习得正确而稳定的可解码运动想象方式，提升了运动想象脑机接口的性能，实现对使用者运动想象的高精度稳定分类。主要用于满足高效的脑机交互需求。

主权项

1.一种基于深度学习的人机互适应运动想象脑机接口系统，其特征在于，依照信息处理顺序，依次连接和包括有脑电数据采集模块、数据预处理模块、信号变换判别网络模块和视觉反馈呈现模块，视觉反馈呈现模块通过反馈呈现设备向被测者提供视觉信息反馈，由被测者的视觉接收，经被测者主动调整运动想象方式后形成再次的脑电数据采集；所述信号变换判别网络模块，其中依次连接和包括有信号变换网络子模块和判别网络层子模块；系统还包括有数据集模块，数据集模块包括有原始脑电数据，信号转换目标图像和类别标签，数据集模块与数据预处理模块进行双向数据交互取出原始脑电数据；数据集模块与信号变换网络子模块双向数据交互取出信号转换目标图像；数据集模块与判别网络层子模块进行双向数据交互取出类别标签；上述的双向交互包括数据的传输和控制信号的传输；在反馈训练过程中，ST-Net子模块为视觉反馈呈现模块提供信号转换图像；在判别性迁移和使用过程中，ST-Net子模块为判别网络层子模块提供信号转换图像，经判别网络层子模块处理后得到脑电信号的分类结果；对各模块分述如下：/n脑电数据采集模块，是由脑电采集设备构成；脑电数据采集模块接收被测者的脑电信号以固定采样率和电极分布完成被测者在想象过程中的数据采集，采集得到的数据为脑电数据，将脑电数据传输给数据预处理模块；基于深度学习的人机互适应运动想象脑机接口系统设计不限制脑电EEG信号采集设备和导联数目，即脑电采集设备根据需求设置，或为有线脑电采集设备或为无线脑电采集设备；最少导联数目需大于1个导联；/n数据预处理模块：接收脑电数据采集模块所采集的脑电数据或者数据集中的原始脑电数据，对接收到的脑电数据依次进行去基线，滤波，去工频，降采样预处理，得到预处理后的脑电数据，并将预处理后的脑电数据传送给信号变换判别网络模块中的信号变换网络子模块；/n信号变换判别网络模块，包括信号变换网络子模块和判别网络层子模块；在ST-Net子模块的前向传播使用过程中：ST-Net子模块接收数据预处理模块的处理结果，输出带有判别信息的信号转换图像；判别网络层子模块接收ST-Net子模块输出的信号转换图像，得到分类结果；在ST-Net子模块的反向传播训练过程中：脑电数据经过预处理模块处理后传送给ST-Net子模块，同时ST-Net子模块从数据集模块中获取对应类别的信号转换目标图像，并以此为目标图像执行反向传播算法训练ST-Net，脑电数据或是来自数据集模块中的原始脑电数据或是实时采集的脑电数据；判别网络层子模块接收ST-Net子模块输出的信号转换图像，同时从数据集模块中获取类别标签，并以此为标签执行反向传播算法训练判别网络层；/n视觉反馈呈现模块，接收STD-Net模块中ST-Net子模块输出的信号转换图像，将图像通过反馈呈现设备呈现给被测者；被测者根据信号转换图像和数据集中的信号转换目标图像的差异，主动调整运动想象方式，使信号转换图像朝着清晰稳定的方向发展，实现对自身脑电信号的反馈调节。/n