[发明专利]混合脑机接口的数据处理方法、装置、设备及存储介质

权利要求书

1.一种混合脑机接口的数据处理方法，其特征在于，所述方法包括：

获取训练题目，所述训练题目包括问题和多个选项；

播放所述问题对应的文本和音频；

执行信号采集操作，包括：

依次播放所述选项对应的图片和音频，并在所述选项播放的过程中实时采集测试者的第一脑电信号，所述第一脑电信号为所述音频触发的脑电信号；

在所述问题对应的所有选项播放结束时，显示所有选项的图片，并控制所述图片以各自的频率进行闪烁，在所述图片闪烁过程中实时采集测试者的第二脑电信号，所述第二脑电信号为所述图片触发的脑电信号；

根据所述第一脑电信号和所述第二脑电信号确定测试者选择的目标选项。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一脑电信号和所述第二脑电信号确定测试者选择的目标选项，包括：

对所述第一脑电信号进行意图分析确定每个选项被选中的第一概率；

对所述第二脑电信号进行意图分析确定每个选项被选中的第二概率；

根据所述选项对应的第一概率和第二概率确定所述选项的第三概率；

将所述第三概率最高的选项确定为测试者选择的目标选项。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

将所述第一概率最高的选项确定为所述测试者对所述音频进行响应的目标选项；

将该目标选项与所述问题的标准选项进行比对，确定所述测试者对所述音频进行响应的听觉测试结果；

播放所述听觉测试结果对应的音频提示信息。

4.根据权利要求2所述的方法，其特征在于，所述方法还包括：

将所述第二概率最高的选项确定为所述测试者对所述图片闪烁进行响应的目标选项；

将该目标选项与所述问题的标准选项进行比对，确定所述测试者对所述图片闪烁进行响应的视觉测试结果；

显示所述视觉测试结果。

5.根据权利要求1所述的方法，其特征在于，重复执行多轮所述信号采集操作，每执行一轮所述信号采集操作，都根据本轮采集的所述第一脑电信号和所述第二脑电信号确定本轮信号采集操作所述测试者选择的目标选项。

6.根据权利要求5所述的方法，其特征在于，所述获取的训练题目数量为多个，该方法还包括：

根据每个训练题目对应的多个目标选项，确定所述测试者的训练结果并显示。

7.一种混合脑机接口的数据处理装置，其特征在于，所述装置包括：

获取模块，用于获取训练题目，所述训练题目包括问题和多个选项；

播放模块，用于播放所述问题对应的文本和音频；

执行模块，用于执行信号采集操作，包括：依次播放所述选项对应的图片和音频，并在所述选项播放的过程中实时采集测试者的第一脑电信号，所述第一脑电信号为所述音频触发的脑电信号；在所述问题对应的所有选项播放结束时，显示所有选项的图片，并控制所述图片以各自的频率进行闪烁，在所述图片闪烁过程中实时采集测试者的第二脑电信号，所述第二脑电信号为所述图片触发的脑电信号；

第一确定模块，用于根据所述第一脑电信号和所述第二脑电信号确定测试者选择的目标选项。

8.根据权利要求7所述的装置，其特征在于，所述第一确定模块，包括：

分析子模块，用于对所述第一脑电信号进行意图分析确定每个选项被选中的第一概率；

所述分析子模块，还用于对所述第二脑电信号进行意图分析确定每个选项被选中的第二概率；

确定子模块，用于根据所述选项对应的第一概率和第二概率确定所述选项的第三概率；

所述确定子模块，还用于将所述第三概率最高的选项确定为测试者选择的目标选项。