[发明专利]一种面向听觉诱发的端到端脑电信号解码方法

权利要求书

1.一种面向听觉诱发的端到端脑电信号解码方法，其特征在于：包括以下步骤：

S1、获取待测人员的脑电数据以及解码后的语音数据；

S2、对所述脑电数据和语音数据进行预处理；

S3、对预处理后的数据进行分类识别，获得脑电数据集、脑电/语音数据集和语音数据集；

S4、构建双DualGAN网络模型，基于所述脑电数据集、所述脑电/语音数据集和所述语音数据集对所述双DualGAN网络模型进行训练，获得训练好的所述双DualGAN网络模型，对所述待测人员的脑电数据进行解码，获得语音信号；当第一个DualGAN训练完成之后，第二个DualGAN开始训练，训练过程与第一个DualGAN类似，不同的是，脑电信号和混合信号的对抗训练使用生成器A和生成器B，并且利用鉴别器A和鉴别器B学习优化域U和域V之间数据的训练，而混合信号和语音信号的对抗训练则使用生成器C和生成器D，利用鉴别器A和鉴别器C优化域V和域W之间的训练，其中，两个DualGAN网络共用一个鉴别器A，用于模型两个网络分时段训练；(1)语音 Real经过生成器D生成语音 2，随后经过生成器C重构为语音3；鉴别器A会评估生成语音2的隶属度得分来优化生成器D，而作为域W的重构，生成的语音3会与语音Real会进行比较，作为重构损失C；(2)脑/语Real也会经过生成器C生成脑/语2，并且通过生成器D重构为域V的脑/语3，针对这一过程，鉴别器C会评估生成脑/语2的隶属度得分来优化生成器C，同样生成的脑/语3会与脑/语Real进行比较，将其作为重构损失；在第二个DualGAN工作完成之后，会同样得到不同的鉴别器隶属度得分和对应的重构损失后，生成器将被优化成为最优以模拟域W输出，并且第二个DualGAN网络生成的语音2会与第一个DualGAN生成的脑电2混合生成最终的多维混合矩阵来作为最终训练模型中间过渡层的结果。

2.根据权利要求1所述的面向听觉诱发的端到端脑电信号解码方法，其特征在于：所述S1中，脑电数据的获取过程为：首先对待测人员的听觉神经进行刺激，通过所述刺激引起中枢神经系统的生物电反应，产生电信号从而获得待测人员的所述脑电数据。

3.根据权利要求1所述的面向听觉诱发的端到端脑电信号解码方法，其特征在于：所述S2中，脑电数据预处理的过程为：对所述脑电数据进行滤波，获取预处理后的所述脑电数据。

4.根据权利要求1所述的面向听觉诱发的端到端脑电信号解码方法，其特征在于：所述S3中，分类识别的方法为：将预处理后的所述脑电数据和所述解码后的语音数据进行混合，组成多维混合矩阵，作为所述脑电/语音数据集；将预处理后的所述脑电数据作为脑电数据集；将预处理后的所述语音数据作为语音数据集。

5.根据权利要求1所述的面向听觉诱发的端到端脑电信号解码方法，其特征在于：所述双DualGAN网络模型包括两个DualGAN网络，分别为第一DualGAN网络和第二DualGAN网络，所述第一DualGAN网络包括第一生成器、第二生成器、第一鉴别器和第二鉴别器；所述第二DualGAN网络包括第三生成器、第四生成器、所述第一鉴别器和第三鉴别器；所述第一DualGAN网络和所述第二DualGAN网络共用所述第一鉴别器。

6.根据权利要求5所述的面向听觉诱发的端到端脑电信号解码方法，其特征在于：所述第一DualGAN网络用于处理所述脑电数据集和所述脑电/语音数据集，所述第一DualGAN网络处理所述脑电数据集的具体方法为：

所述脑电数据集基于所述第一生成器获得第一脑电信号，所述第一鉴别器对所述第一脑电信号进行评估，获得第一隶属度得分；

所述第一脑电信号基于所述第二生成器获得第二脑电信号，计算所述第二脑电信号和所述脑电数据集之间绝对差的平均值，作为第一重构损失；

基于所述第一隶属度得分，对所述第一生成器、所述第一DualGAN网络的正向路径进行优化。