[发明专利]一种基于脑信号与语音相结合的字符输入方法

说明书

本发明公开了一种基于脑信号与语音相结合的字符输入方法，本方法的具体步骤如下：系统初始化：用户戴上电极帽，打好导电膏，将电极帽连接上放大器，将放大器连接到电脑上，启动脑电采集软件，设置好参数；将麦克风连接到电脑上；脑信号输入：启动诱发刺激模块的刺激范式界面，开始训练数据的采集；在每个字符的拼写过程中，P300按钮会闪烁n轮(round)，在每个round中44个P300按钮会按照随机的次序闪烁1次；本发明针对现有的脑机领域字符输入方法存在的缺陷进行了完善，采用了脑信号和语音信号输入的方法，将脑机接口技术和语音识别技术相结合，大大提高了字符输入方法的灵活性，同时也使得字符输入效率得到了极大的提升。

技术领域

本发明属于人机交互技术领域，具体涉及一种基于脑信号与语音相结合的字符输入方法。

背景技术

目前社会对残障人士的关注慢慢增多，如何提高残障人士的生活质量已经成为人们热议的话题。为帮助残障患者更好地与外界进行信息交互，对现有的字符输入方法进行了如下调研分析：

申请号为201110269640.9的发明“一种用脑电波输入汉字的虚拟键盘设计方案”和申请号为201710582561.0的发明“基于运动视觉诱发电位的高效脑控中文输入法”都是单纯地采用脑机接口技术实现字符输入，对于残障患者来说，使用脑机接口技术实现的字符输入方法存在如下弊端：(1)中文输入需要利用拼音或者笔画进行多步拼写输入，步骤繁琐，输入一个汉字的耗时较长，时效性得不到保证。(2)长时间操作会让使用者感到疲劳，使用者在疲劳状态下的操作准确率也会随之降低，输入不稳定，准确率得不到保证。

申请号为201210517734.8的发明“基于视线跟踪与语音识别的字符输入装置和方法”，由于语音识别技术受环境等不确定因素的影响，识别准确率得不到保证，尤其在是语音输入较长一段话的情况下，语音识别往往会得到部分正确部分错误的识别结果，另外语音识别也存在同音字误识别的问题。这个发明也只是利用语音识别技术作为辅助字符输入的控制方法，没能很好地将语音识别技术输入效率高的优点应用到字符输入场景中。

本发明旨在解决脑机接口领域的字符输入问题，让使用者得以利用脑信号和语音信号高效准确地进行字符输入。由于单纯地依靠脑机接口技术进行字符输入存在准确率和时效性的局限性，单纯的语音识别技术虽然其输入效率高，但是也存在准确性的问题。因此本发明将语音识别技术与脑机接口技术结合起来进行字符输入，利用语音识别技术弥补在使用脑机接口技术输入字符时时效性不够的不足，利用脑机接口技术弥补语音识别技术因为误识别情况导致准确率低的问题。两种技术结合之后的字符输入方法极大地提高了输入效率和准确率，且在不同输入需求情况下可以灵活选择输入方法，极大地拓展了脑机接口技术在人机交互领域应用范围。

发明内容

本发明的目的在于提供一种基于脑信号与语音相结合的字符输入方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于脑信号与语音相结合的字符输入方法，系统由诱发刺激模块、信号采集模块、信号分析模块和控制模块四部分组成；具体步骤如下：

(1)系统初始化：用户戴上电极帽，打好导电膏，将电极帽连接上放大器，将放大器连接到电脑上，启动脑电采集软件，设置好参数；将麦克风连接到电脑上；

(2)脑信号输入：启动诱发刺激模块的刺激范式界面，开始训练数据的采集；在每个字符的拼写过程中，P300按钮会闪烁n轮(round)，在每个round中44个P300按钮会按照随机的次序闪烁1次；信号分析模块对采集到的头皮脑电信号进行带通滤波，然后取每个P300按钮闪烁刺激开始后的600ms作为采样点来进行P300检测，这段数据称为一个epoch，再对每个epoch以6倍的下采样率进行下采样，将对应于每个P300按钮闪烁的下采样后得到的数据连接构成一个特征向量，之后再将n次采集所得的所有P300按钮闪烁对应的特征向量进行分类识别，以确定使用者想要选择的目标；