[发明专利]混合脑机接口的数据处理方法、装置、设备及存储介质

说明书

本公开提供了一种混合脑机接口的数据处理方法、装置、设备及存储介质，方法包括：获取训练题目，训练题目包括问题和多个选项；播放问题对应的文本和音频；执行信号采集操作，包括：依次播放选项对应的图片和音频，并在选项播放的过程中实时采集测试者的第一脑电信号，第一脑电信号为音频触发的脑电信号；在问题对应的所有选项播放结束时，显示所有选项的图片，并控制图片以各自的频率进行闪烁，在图片闪烁过程中实时采集测试者的第二脑电信号，第二脑电信号为图片触发的脑电信号；根据第一脑电信号和第二脑电信号确定测试者选择的目标选项。本方法通过混合脑机接口提供了一种失语症训练方法，能兼顾到测试者的自身情况，得到的结果更准确。

技术领域

本公开涉及脑机接口领域，尤其涉及一种混合脑机接口的数据处理方法、装置、设备及存储介质。

背景技术

失语症也称获得性语言障碍，表现为对语音、语义、字形等语言符号的理解和表达障碍，由此带来的一系列不便严重影响了患者的生活质量，因此需要利用一定的语言训练方法对患者进行训练。目前还没有将混合脑机接口应用到失语症康复训练中的相关技术。

发明内容

本公开提供了一种混合脑机接口的数据处理方法、装置、设备及存储介质，以至少解决现有技术中存在的以上技术问题。

根据本公开的第一方面，提供了一种混合脑机接口的数据处理方法，所述方法包括：获取训练题目，所述训练题目包括问题和多个选项；播放所述问题对应的文本和音频；执行信号采集操作，包括：依次播放所述选项对应的图片和音频，并在所述选项播放的过程中实时采集测试者的第一脑电信号，所述第一脑电信号为所述音频触发的脑电信号；在所述问题对应的所有选项播放结束时，显示所有选项的图片，并控制所述图片以各自的频率进行闪烁，在所述图片闪烁过程中实时采集测试者的第二脑电信号，所述第二脑电信号为所述图片触发的脑电信号；根据所述第一脑电信号和所述第二脑电信号确定测试者选择的目标选项。

在一可实施方式中，所述根据所述第一脑电信号和所述第二脑电信号确定测试者选择的目标选项，包括：对所述第一脑电信号进行意图分析确定每个选项被选中的第一概率；对所述第二脑电信号进行意图分析确定每个选项被选中的第二概率；根据所述选项对应的第一概率和第二概率确定所述选项的第三概率；将所述第三概率最高的选项确定为测试者选择的目标选项。

在一可实施方式中，所述方法还包括：将所述第一概率最高的选项确定为所述测试者对所述音频进行响应的目标选项；将该目标选项与所述问题的标准选项进行比对，确定所述测试者对所述音频进行响应的听觉测试结果；播放所述听觉测试结果对应的音频提示信息。

在一可实施方式中，所述方法还包括：将所述第二概率最高的选项确定为所述测试者对所述图片闪烁进行响应的目标选项；将该目标选项与所述问题的标准选项进行比对，确定所述测试者对所述图片闪烁进行响应的视觉测试结果；显示所述视觉测试结果。

在一可实施方式中，重复执行多轮所述信号采集操作，每执行一轮所述信号采集操作，都根据本轮采集的所述第一脑电信号和所述第二脑电信号确定本轮信号采集操作所述测试者选择的目标选项。

在一可实施方式中，所述获取的训练题目数量为多个，该方法还包括：根据每个训练题目对应的多个目标选项，确定所述测试者的训练结果并显示。

根据本公开的第二方面，提供了一种混合脑机接口的数据处理装置，所述装置包括：获取模块，用于获取训练题目，所述训练题目包括问题和多个选项；播放模块，用于播放所述问题对应的文本和音频；执行模块，用于执行信号采集操作，包括：依次播放所述选项对应的图片和音频，并在所述选项播放的过程中实时采集测试者的第一脑电信号，所述第一脑电信号为所述音频触发的脑电信号；在所述问题对应的所有选项播放结束时，显示所有选项的图片，并控制所述图片以各自的频率进行闪烁，在所述图片闪烁过程中实时采集测试者的第二脑电信号，所述第二脑电信号为所述图片触发的脑电信号；第一确定模块，用于根据所述第一脑电信号和所述第二脑电信号确定测试者选择的目标选项。