[发明专利]基于脑机交互与深度学习的脑卒中主动式手部康复系统

权利要求书

1.一种基于脑机交互与深度学习的主动式手部训练系统，其特征在于，包括脑电帽、FPGA采集设备、图像刺激模块、上位机和手部运动支架，所述FPGA采集设备与脑电帽通过DUSB37接口连接，所述FPGA采集设备与上位机之间采用无线通讯，所述上位机分别与图像刺激模块和手部运动支架电连接；

所述脑电帽和FPGA采集设备用于采集被试者运动想象脑电信号，并进行预处理操作，通过无线传输到上位机；所述图像刺激模块根据训练项目产生对应的运动视觉提示，以提示被试者进行相应动作的想象；同时所述上位机接收到脑电信号后对脑电信号解码并生成对应的控制信号；所述手部运动支架接收到控制信号牵引被试者手部运动，完成对应的训练；

被试者将需要训练的手部分别固定在两个手部运动支架上，同时头部佩戴脑电帽，图像刺激模块放置在被试者面前；设置上位机参数，包括训练时间、手指活动范围，并等待手部训练系统初始化完成；图像刺激模块显示随机指向左或右方向的箭头，被试者根据箭头指向想象上肢左侧或右侧运动，左箭头代表进行左手想象运动，右箭头代表进行右手想象运动；图像刺激模块发出蜂鸣提示，并且同时屏幕显示变为黑色；通过脑电帽和FPGA采集设备记录这期间的脑电信号，并传输给上位机，在上位机解码，并驱动手部运动支架带动手部运动；手部运动支架恢复运动到原位置，被试者休息后重复步骤三至步骤六，直到训练结束；

其中，上位机采用多特征融合运动想象分类算法进行解码，具体步骤如下：

(1)使用FBCSP对获取的脑电信号解码

首先将脑电信号经过带通滤波器滤波，假设x_l和x_r分别是经过预处理之后的左、右手运动想象信号，其大小均为N×T的矩阵，其中N表示脑电采集数据时的通道数量，T表示每个通道数量的样本数；数据的归一化空间协方差矩阵表示为：

其中，X^T为X转置，tr(A)表示A的迹，R方差_l是x_l的协矩阵，R_r是x_r的协方差矩阵；对每次实验的协方差矩阵求均值得到和则复合空间的协方差矩阵分解为：

其中，B是特征向量矩阵，λ是特征值组成的对角矩阵，并且按照对角线上的元素进行递减排列，求得白化变换矩阵如下：

平均协方差矩阵和变换为：

S_l与S_r有共同的特征向量，利用下式求出特征向量D：

其中，λ₁+λ₂＝I，I为单位矩阵，将λ₁对角线上的元素按照从大到小排列，则对应的λ₂对角线上的元素为从小到大排列，选取λ₁的前m个最大特征值对应的特征向量D_l，和后m个最小的特征值D_r来构造滤波器W_csp，W_csp构造变换如下所示：

对于单次任务的脑电数据x做如下变化：Z＝W_cspx；对于脑电数据的特征提取，取投影后的信号Z_p(p＝1,.....,2m)做如下变换之后的值作为特征值：

将这部分特征作为第一类特征；

(2)脑电信号的高低频部分通过小波包变换后得到分解，利用小波包算法对运动想象脑电信号分析；

小波分解，将尺度函数记为u₀(t)，小波函数δ(t)记为u₁(t)，双尺度方程为：

u₀(t)＝δ(t)所对应的小波包为{u_n(t)_n∈z}，z表示自然数集；设S(t)是时间信号，是第n层上的第m个小波，二进制小波包分解为：

小波包重构：

n＝N-1,N-2,.....1,0；m＝2^n-1,....,2,1；

N＝log₂ K，K是小波的数量；H(k)是一个小波包重构滤波器相关的拓展函数，G(k)是另一个小波包重构滤波器相关的小波，经过重构的脑电信号利用CSP得到的特征，作为第二类特征；

(3)使用脑网络获取的脑电信号特征

首先对脑电信号进行带通滤波，滤波器的截止频率分别为7-14Hz、16-30Hz；网络中的节点和连边分别选择脑电信号的通道，以及任意两个通道之间的相关性；使用典型相关分析来计算连边，分析整个脑电频率以及特定频段范围之间的信号，对于两组长度相同的一维序列U、V，相关系数为：

得到的功能网络是一个相关矩阵，其中每个元素代表两个大脑区域之间的相关性；在获得相关矩阵后，下一步是通过设置阈值对其进行二值化；如果矩阵中某个元素的值大于此阈值，则认为两个大脑区域之间存在功能联系，此处的值设置为1；否则，该值设置为0；从而建立一个完整的二值化函数网络；将二值化函数网络作为第三类特征；

(4)在三类特征的基础上搭建深度学习网络模型对脑电信号进行分类；

其中，深度学习网络模型的搭建过程如下：

①对于第一类特征，深度学习网络模型的第一个分支网络依次包括：

一个数据输入层：输入数据即样本为由大脑多层复杂网络的各个网络指标数据构成的一维序列及其对应标签，所述的输入数据是具有标签信息的数据；

一个二维卷积层：卷积核数量为32，卷积核大小为6×6，激活函数是一个方形修正单元，采用PReLU激活函数，其中λ是通过训练得到的参数；

一个最大池化层：池化核大小为2×2，具体过程描述为P_p＝max{0,x}，表示对当前池化核覆盖下的输入数据的元素提取最大值作为输出；

一个二维卷积层：卷积核数量为64，卷积核大小为4×4，激活函数是一个方形修正单元，采用PReLU激活函数，其中λ是通过训练得到的参数；

二个二维卷积层：卷积核数量为64，卷积核大小为3×3，激活函数是一个方形修正单元，采用PReLU激活函数，其中λ是通过训练得到的参数；

二个全连接层：包含64个神经元，采用PReLU激活函数，其中λ是通过训练得到的参数；

②对于第二类特征，深度学习网络模型的第二个分支网络依次包括：

一个数据输入层：输入数据即样本为由大脑多层复杂网络的各个网络指标数据构成的一维序列及其对应标签，所述的输入数据是具有标签信息的数据；

一个二维卷积层：卷积核数量为32，卷积核大小为3×32，激活函数是一个方形修正单元，采用PReLU激活函数，其中λ是通过训练得到的参数；

一个最大池化层：池化核大小为3×3；

一个二维卷积层：卷积核数量为64，卷积核大小为3×16，激活函数是一个方形修正单元，采用PReLU激活函数，其中λ是通过训练得到的参数；

一个二维卷积层：卷积核数量为64，卷积核大小为2×8，激活函数是一个方形修正单元，采用PReLU激活函数，其中λ是通过训练得到的参数；

一个全连接层：包含64个神经元，采用Relu激活函数f_Relu(x)＝max(0,x)

③对于第三类特征，深度学习网络模型的第三个分支网络依次包括：

一个数据输入层：输入数据即样本为由大脑多层复杂网络的各个网络指标数据构成的一维序列及其对应标签，所述的输入数据是具有标签信息的数据；

一个全连接层：包含124个神经元，采用PReLU激活函数，其中λ是通过训练得到的参数；

一个全连接层：包含124个神经元，采用PReLU激活函数，其中λ是通过训练得到的参数；

④将三个分支网络使用concatenate层连接，分类器作为神经网络的输出层，输出分类结果，使用4个神经元表示，通过Softmax函数处理，Softmax函数本质上是归一化的指数函数，定义为其中z是上一层网络的输出，维度为C，y_i为预测对象属于第i类的概率；

⑤对深度学习网络模型进行训练：

(a)将样本集中70％的数据作为训练集，用于训练初始深度学习网络模型，确定初始深度学习网络模型参数，30％的数据作为测试集，用于测试已经训练好的深度学习网络模型的泛化能力；

(b)将网络权值、阈值取接近于0的随机值，并初始化训练所需的超参数，所述超参数包括学习率、权值衰减、学习率衰减；

(c)通过反向传播算法对初始深度学习网络模型进行训练；

(d)在训练中通过梯度下降法对网络权值进行调整，公式为W是更新前的网络权值，W_new是更新后的网络权值，ξ是学习率，是误差对网络权值的偏导；

(e)当网络训练迭代次数超过设定值M时，停止训练。