[发明专利]基于深度卷积对抗生成神经网络的脑电信号解码方法

权利要求书

1.一种基于深度卷积对抗生成神经网络的脑电信号解码方法，其特征在于：首先将脑电信号通过短时傅里叶变化，由时序信号转化成时频域图像信号；然后再通过整合卷积神经分类网络和对抗生成网络，利用对抗生成网络对小样本脑电数据进行数据增强，再将增强后的数据放入卷积神经分类网络中，进行分类，实现解码。

2.一种基于深度卷积对抗生成神经网络的脑电信号解码方法，其特征在于，包括以下步骤：

1)脑电信号预处理：采用BCI Competition Dataset 2b的运动想象脑电信号作为分析对象，首先，将采集到n导联脑电信号通过巴特沃斯四阶滤波器，进行8-30Hz的带通滤波，滤波后的信号表示为：

其中，N为样本点总数，n为导联数，m为采样点数，为第i个导联第j个采样点，t＝{1，2，…N}，然后，再利用短时傅里叶变化，将时序脑电信号转换成时频域空间信号；

X(t)是傅里叶变换之后的结果，ω表示固定的中心频率，R代表滑动窗的数目，j代表复指数；

2)搭建深度卷积对抗生成网络DCGAN：对抗生成网络是利用两个网络之间的竞争达到动态平衡，最终学习到目标数据的统计分布；生成网络通过初始化一个随机的噪声向量p_z，通过拟合可微函数逼近G(z；θ_a)来学习目标参数X的分布P_x；判别网络通过设置一个可微函数逼近器D(z；θ_a)来预测输入的变量来自真正的目标数据分布P_x而不是来自于生成函数；优化目标是，判别网络使生成样本预测标签与真实样本的标签之间均方误差最小，而生成网络通过训练使log(1-D(x；θ_G))，所以生成对抗网络的优化问题表述为：

Min_aMax_DV(D，G)＝E_x～p(x)[logD(x；θ_G)]+E_z～p(z)[log(1-D(x；θ_G))]

其中，Min_aMax_DV(D，G)是真实样本预测标签与生成样本预测标签的均方误差，E_x～p(x)[logD(x；θ_G)]是生成网络的均方值，对抗网络的均方值用E_z～p(z)[log(1-D(x；θ_G))表示；

一维时序信号经过短时傅里叶变换后的二维时频信号，将作为对抗生成网络的输入；对抗生成网络包括两个部分，一部分是判别网络，一部分是生成网络；生成网络的输入是一个初始化的一维随机向量，生成网络由四个反卷积层组成，四层的大小分别为：8*8*1024，16*16*521，32*32*256，64*64*128，输出是二维图像矩阵大小为128*128*3；生成网络的输出就是对抗网络的输入，对抗网络由四层卷积层组成，四层的大小分别为64*64*128，32*32*256，16*16*521，8*8*1024，输出是一个表示类别的一维向量；为了加速对抗网络的训练过程和收敛速度，在对抗网络中加入了BatchNorm算法；

3)搭建卷积神经分类网络CNN：卷积神经分类网络CNN由两个卷积层、两个池化层、两个全连接层以及输入和输出层组成；卷积神经分类网络CNN的输入为经短时傅里叶变换后的脑电时频图像信号，中间层为交替堆叠的卷积层和池化层，两个全连接层用来将中间层提取的特征进行非线性映射，最终输出类别信息；其中，卷积核大小为3*3，最大池化的核函数为2*2，两个全连接层大小分比为，3648*1和100*1；卷积神经分类网络CNN的输出y_i通过以下步骤计算得到：

首先，通过卷积操作逐层提取特征：

其中，表示第l层第j个特征映射，是由与卷积核相乘加上偏置得到；

然后，将提取的特征传递到池化层，实现对数据和参数的压缩：

其中，j和k代表当前特征图的位置，s则为池的大小，X为输入样本，m和n分别代表步长，所有特征通过RELU激活函数进行映射；

f(a)＝RELU(a)＝ln(1+e^a)

其中，a代表被激活对象，中间层输出的结果将映射到两个全连接层，从而将图像特征转化为多尺度特征；

x_i代表特征图y_i代表输出可能的概率分布，w_i，j为当前激活权重，b_j为j位置所对应的偏置；

4)深度卷积对抗生成网络与卷积神经分类网络模型训练：

首先，利用对抗生成网络，学习目标信号的分布特征，使对抗网络和生成网络达到动态纳什平衡后，输出生成的脑电信号；然后，将真实的脑电信号和生成的脑电信号，同时放入卷积神经分类网络模型中训练，得到分类模型；

对抗生成网络与卷积神经分类网络都采用交叉熵损失函数作为优化目标，利用“Adam”为优化器，参数设置如下：

Learning rate＝2e-4，Batch size＝128，Train epoch＝20；

对抗生成网络的训练集为真实的脑电时频图，输入为一维随机噪声向量，输出为生成的二维脑电时频图；

卷积神经分类网络的训练集为真实的二维脑电信号与生成的脑电信号，测试集为真实的二维脑电信号；采用交叉熵损失函数作为优化目标，利用“SGD”为优化器，参数设置如下：

Learning rate＝1e-4，Batch size＝64，Train epoch＝20；

交叉熵损失函数作为优化目标，利用误差反向传播来减小网络计算的误差，其表示如下：

为预测的概率分布，y表示真实的概率分布。

3.根据权利要求2所述的一种基于深度卷积对抗生成神经网络的脑电信号解码方法，其特征在于，深度卷积对抗生成网络与卷积神经分类网络模型的性能评估：为了验证对抗生成网络数据增强的性能，采用Frechet Inception Distance(FID)指标来计算生成图片与真实图片的差异，从而筛选出有效的生成数据：

其中，Tr表示对角线上元素的总和，均值为μ，协方差为∑，x表示真实图片，g是生成图片；

为了验证卷积神经分类网络的分类效果，采用平均分类精度和Kappa系数作为结果衡量的指标。