[发明专利]一种通过脑电解码汉语发音的方法

权利要求书

1.一种通过脑电解码汉语发音的方法，其特征在于，包括以下步骤：

步骤1，基于若干个汉语语料库内的刺激材料和信号灯脑电实验范式，获取被试针对不同提示语的跟读音频和想象跟读脑电；

步骤2，数据预处理：脑电信号部分，经基础的预处理操作去除眼电、肌电的伪迹信号后，将留下的信号还原得到干净的EEG成分，再以语料提示的结束时间为事件起始点，截取适当时长EEG信号并进行分段，得到每个单独语料的诱发皮层脑电信号；音频信号部分，仍以语料提示的结束时间为时间起始点，对语音信号进行分段，得到被试对于汉语语音每个单独语料的自发声语音时频信号；

步骤3，针对每一份语料刺激诱发的脑电与语音信号，执行分帧截取样本操作，而后输入双峰酒桶形深度玻尔兹曼机神经网络，采用均方误差来衡量网络解析皮层脑电和语音对应关系的深度，若均方误差达到一个极小量级，则说明，在训练集上，皮层脑电与语音的对应关系已有了初步了解，从而在测试集上，尝试进行未知脑电对应语音的解码。

2.根据权利要求1所述的一种通过脑电解码汉语发音的方法，其特征在于：步骤1具体为，使用常见汉语词语作为刺激材料，依据语法功能和语汇意义将其分为虚词与实词两类，获取想象跟读语料诱发的皮层脑电数据和同一被试对相应语料的跟读数据，一一对应作为解析脑电与语音间关系的学习材料。

3.根据权利要求2所述的一种通过脑电解码汉语发音的方法，其特征在于：步骤1中被试对同一语料的想象和跟读任务不同时进行，并且任务进行时无语料相关信息刺激，从而保证皮层脑电中肌电成分影响消失并且只采用听觉皮层通路诱发脑电，避免了视觉皮层通路的影响。

4.根据权利要求3所述的一种通过脑电解码汉语发音的方法，其特征在于：步骤2具体为：首先对脑电信号进行预览，人工剔除明显的干扰噪声，以及典型的因被试头部的运动产生的大幅度数据漂移；使用全电极均值作为参考电极；其次，对脑电信号做1-45Hz的带通滤波，去除市电与电器频率干扰，最后，对脑电信号做ICA分解，将EEG信号分离成相互独立的信号，去除伪迹信号后，将留下的信号还原得到干净的EEG成分；在对数据进行预处理后，对于被试想象跟读语料任务得到的EEG信号，以语料提示的结束时间为事件起始点，截取适当时长EEG信号并进行分段，得到被试对于汉语语音每个单独语料的诱发皮层脑电信号；对于被试跟读语料任务得到的音频数据，仍以语料提示的结束时间为时间起始点，对语音信号进行分段，得到被试对于汉语语音每个单独语料的自发声语音时频信号。

5.根据权利要求4所述的一种通过脑电解码汉语发音的方法，其特征在于：步骤3具体为：在对EEG数据和语音数据预处理后，得到两种模态的数据，一种是由想象跟读诱发的皮层脑电信号，另一种是跟读的语音时频信号，二者时间轴一一对应；针对每一份语料刺激诱发的脑电与语音信号，按10ms分帧，帧移为10ms，50ms为一个样本截取信号作为双峰酒桶形深度玻尔兹曼机网络的输入，从而对应的网络输出也为50ms，择第三帧即第20ms到第30ms区间内数据作为重建样本，从而避免了数字信号的边缘效应；使用均方误差来衡量网络解析皮层脑电和语音对应关系的深度，若均方误差到一个极小量级，则说明，在训练集上，皮层脑电与语音的对应关系已有了初步了解，从而在测试集上，尝试进行未知脑电对应语音的解析。