[发明专利]一种通过脑电解码汉语发音的方法

说明书

本发明公开了一种通过脑电解码汉语发音的方法，包括：基于汉语语料库内的刺激材料和信号灯脑电实验范式，获取跟读音频和想象跟读脑电；数据预处理：得到每个单独语料的诱发皮层脑电信号和被试对于汉语语音每个单独语料的自发声语音时频信号；针对每一份语料刺激诱发的脑电与语音信号，执行分帧截取样本操作，而后输入双峰酒桶形深度玻尔兹曼机神经网络，采用均方误差来衡量网络解析皮层脑电和语音对应关系的深度，若均方误差达到一个极小量级，则在训练集上，尝试进行未知脑电对应语音的解码。本发明的优点是：扩展了应用脑电解码语音的范围；弥补了脑电解码汉语的空白；有利于单模态信息重建多模态信息。

技术领域

本发明涉及脑电解码合成汉语语音技术领域，特别涉及一种应用双峰自动编码器网络通过脑电解码汉语发音的方法。

背景技术

我们的脑是由千亿计的神经细胞相互联结而形成的神经网络，这些细胞通过突触互相连接，建立起彼此之间以百万亿计的人脑神经连接。当大脑活动时，信息在这些神经网络连接之间传递、协同交互，共同实现大脑的复杂功能。

脑神经细胞在活动时会伴随电位变化，这些电位变化在头皮表面被检测到，称之为皮层脑电信号(Electroencephalogram，EEG)。学者们通过脑电开始了对人类大脑的探索。脑神经基础生理活动规律研究、认知心理学相关的脑活动规律探索、各种疾病状态下脑功能与认知活动的相关性研究等，使我们开始一步一步解释人体中最复杂的器官也即大脑。

语音合成是将人类语音用人工的方式所产生。若是将电脑系统用在语音合成上，则称为语音合成器。

针对由于中风、肌萎缩侧索硬化症或其他神经系统疾病而导致言语中断时，通过读取患者的脑电信息，帮助他们恢复说话能力，一直以来都是脑科学和类脑智能领域的研究重点。当前基于脑电接口合成语音多采用侵入式脑机接口采集的数据解码合成英文语音，对皮层脑电的应用和重建汉语语音研究尚少，尚无法通过皮层脑电解码合成汉语语音。

与本发明相关的现有技术一

脑电采集设备根据电极位于大脑的位置分为侵入式(灰质)、部分侵入式(颅腔内灰质外)和非侵入式(头皮表面)。侵入式和部分侵入式电极都需要通过开颅手术才能完成植入，实验被试都是需要进行大脑手术的患者，医疗需求大于科研需求，其认知能力、参与的积极性和测试的状态都与科研的受试者不同。现有的通过脑电合成语音的采集设备主要以部分侵入式类中的脑电图(ECoG)为主，通过对词库内单词进行识别分类，拼词成句完成脑电合成语音任务。而非侵入式则是以皮层脑电(EEG)为主，基于P300拼写器实验范式，对26个英文字母进行识别分类，组字成词再拼接成完整的语句，但效率和准确率明显不如部分侵入式。这不仅是因为识别字母再拼接成单词相比直接识别单词本身错误率就会高，还有就是皮层脑电具有对噪声敏感含大量伪迹和空间分辨率低的劣势。

现有技术一的缺点

1、合成语种受限：目前通过脑电信号直接合成自然语言的种类主要为英语语种，有直接合成单词组成语句，也有通过识别英文字母拼写单词最后组成流畅的语句，尚无应用脑电直接合成汉语自然语音的研究。仅有一些简单的汉字分类任务，如针对汉字元辅音、单个汉字在笔画和同音字上的区分等等。这主要是因为汉字笔画种类繁多和拼音构成复杂，造成合成汉语语音具有很大的困难。

2、脑电数据采集来源受限：现有的研究都是通过侵入式或部分侵入式脑电采集设备采集的脑电，用于合成自然语音。这是因为皮层脑电的电极受颅骨阻碍，无法采集到精细的脑电信号且易受噪音污染，对解码其中的语音信息造成了极大的困难。

发明内容

本发明针对现有技术的缺陷，提供了一种通过脑电解码汉语发音的方法。

为了实现以上发明目的，本发明采取的技术方案如下：

一种通过脑电解码汉语发音的方法，包括以下步骤：