[发明专利]深度学习人机互适应运动想象脑机接口系统和训练方法

权利要求书

1.一种基于深度学习的人机互适应运动想象脑机接口系统，其特征在于，依照信息处理顺序，依次连接和包括有脑电数据采集模块、数据预处理模块、信号变换判别网络模块和视觉反馈呈现模块，视觉反馈呈现模块通过反馈呈现设备向被测者提供视觉信息反馈，由被测者的视觉接收，经被测者主动调整运动想象方式后形成再次的脑电数据采集；所述信号变换判别网络模块，其中依次连接和包括有信号变换网络子模块和判别网络层子模块；系统还包括有数据集模块，数据集模块包括有原始脑电数据，信号转换目标图像和类别标签，数据集模块与数据预处理模块进行双向数据交互取出原始脑电数据；数据集模块与信号变换网络子模块双向数据交互取出信号转换目标图像；数据集模块与判别网络层子模块进行双向数据交互取出类别标签；上述的双向交互包括数据的传输和控制信号的传输；在反馈训练过程中，信号变换网络ST-Net子模块为视觉反馈呈现模块提供信号转换图像；在判别性迁移和使用过程中，ST-Net子模块为判别网络层子模块提供信号转换图像，经判别网络层子模块处理后得到脑电信号的分类结果；对各模块分述如下：

脑电数据采集模块，是由脑电采集设备构成；脑电数据采集模块接收被测者的脑电信号以固定采样率和电极分布完成被测者在想象过程中的数据采集，采集得到的数据为脑电数据，将脑电数据传输给数据预处理模块；基于深度学习的人机互适应运动想象脑机接口系统设计不限制脑电EEG信号采集设备和导联数目，即脑电采集设备根据需求设置，或为有线脑电采集设备或为无线脑电采集设备；最少导联数目需大于1个导联；

数据预处理模块：接收脑电数据采集模块所采集的脑电数据或者数据集中的原始脑电数据，对接收到的脑电数据依次进行去基线，滤波，去工频，降采样预处理，得到预处理后的脑电数据，并将预处理后的脑电数据传送给信号变换判别网络模块中的信号变换网络子模块；

信号变换判别网络模块STD-Net，包括信号变换网络ST-Net子模块和判别网络层子模块；在ST-Net子模块的前向传播使用过程中：ST-Net子模块接收数据预处理模块的处理结果，输出带有判别信息的信号转换图像；判别网络层子模块接收ST-Net子模块输出的信号转换图像，得到分类结果；在ST-Net子模块的反向传播训练过程中：脑电数据经过预处理模块处理后传送给ST-Net子模块，同时ST-Net子模块从数据集模块中获取对应类别的信号转换目标图像，并以此为目标图像执行反向传播算法训练ST-Net，脑电数据或是来自数据集模块中的原始脑电数据或是实时采集的脑电数据；判别网络层子模块接收ST-Net子模块输出的信号转换图像，同时从数据集模块中获取类别标签，并以此为标签执行反向传播算法训练判别网络层；STD-Net模块的构建：

STD-Net模块分为ST-Net子模块和判别网络层子模块，ST-Net子模块包含了ST-Net网络，判别网络层子模块包含了判别网络层；ST-Net子模块实现将脑电EEG信号从时间T*导联C的二维矩阵数据变换为一张使用者可以直观辨识的与运动想象任务种类相关的信号转换图像，该信号转换图像为带有强判别性信息的灰度图像，以供被测者进行反馈调控；判别网络层子模块接收ST-Net子模块输出的信号转换图像，前向传播得到运动想象的分类结果；

ST-Net网络由五层卷积神经网络构成，卷积核尺寸均为N*N，分别带有激活函数ReLU；第一层的卷积核数目为M，第二层卷积核数目为0.5*M，第三层卷积核数目为0.5*M，第四层卷积核数目为0.25*M，第五层卷积核数目为1，所有层卷积步长均为1；每层的输出都是与输入同尺寸的特征；

判别网络层是在ST-Net的输出层后加入的一个卷积核大小为C*C的卷积层，使用单独的一个卷积核完成从信号转换图像到判别性结果的转换；

ST-Net网络的使用和训练：信号变换网络在使用过程中接收预处理后的脑电数据并进行前向传播得到信号转换图像；信号变换网络在训练过程中同时接收预处理后的脑电数据和数据集中对应的信号转换目标图像，使用交叉熵作为损失函数对比网络输出的信号转换图像和信号转换目标图像，并执行反向传递算法以训练ST-Net本身；

判别网络层的使用和训练：判别网络层在使用过程中接收ST-Net子模块前向传播得到的信号转换图像，前向传播得到运动想象的分类结果；判别网络层在训练过程中同时接收ST-Net子模块前向传播得到的信号转换图像和数据集模块中相应的类别标签，使用交叉熵损失函数对比判别网络层输出的分类结果和类别标签，并使用反向传递算法训练判别网络层；

视觉反馈呈现模块，接收STD-Net模块中ST-Net子模块输出的信号转换图像，将图像通过反馈呈现设备呈现给被测者；被测者根据信号转换图像和数据集中的信号转换目标图像的差异，主动调整运动想象方式，使信号转换图像朝着清晰稳定的方向发展，实现对自身脑电信号的反馈调节。