[发明专利]一种基于眼动和脑机接口技术的人机交互方法

说明书

本发明公开了一种基于眼动和脑机接口技术的人机交互方法。通过结合眼动追踪和脑机接口技术提高系统效率和使用体验。本发明中人与计算机的交互将被拆分为眼动初选、脑电终选两个阶段来完成。第一阶段，程序通过眼动仪实时采集当前眼睛注视的位置，一旦检测到注视的停留，则找到该位置附近的元素并激活，并进入第二阶段；被激活的元素会提供视觉刺激或者视觉提示，系统同步采集人的脑电信号，通过脑电信号识别出具体的目标后，触发该目标相应的操作。本发明具有使用控制速度快、精度高、效果好、工作稳定以及使用门槛低等优点，可为渐冻人等由于外界或自身因素无法移动身体或计算机鼠标情况下使用，并提供尽可能与鼠标操作接近的使用体验。

技术领域

本发明涉及脑机接口领域，尤其是一种基于眼动和脑机接口技术的人机交互方法。

背景技术

脑机接口(Brain Computer Interface)是一种非肌肉通信方法，它使患有严重神经系统疾病且在交流方面有困难的人们重新获得使用外部设备与外界进行交流的能力。一些神经系统疾病例如颅脑外伤，脑干中风，肌萎缩性侧索硬化症(ALS)和格林-巴利综合征(Guillain-Barrésyndrome)，可导致严重或完全的运动性麻痹，通常被称为“锁定综合征”，即患者虽然保留意识，但除了眼动和眨眼外不能进行肢体活动或口头交流。脑机接口可以实现人脑与计算机之间的直接通信，并允许这些患者重新获得使用外部设备与外界通信的能力。

随着技术在我们日常生活中的迅速融合，使用计算机、互联网的能力在决定一个人的生活质量方面起着重要作用。帮助运动损伤患者重新获得通过计算机、互联网进行通信或访问信息的能力并不容易，因为大多数网页都是为鼠标和键盘操作而设计的，而很少考虑运动损伤患者的可访问性。而最近，一些研究通过开发各种脑机接口系统来尝试改善患者的生活质量。

现有可提供计算机控制和交流的系统以网络浏览器最具代表性，这些脑机接口网络浏览器在保持原有页面格式和内容的情况下赋予运动损伤患者浏览、使用互联网的能力。如基于慢皮层电位(SCP)的Descartes和Nessi，使用二叉决策树进行元素选择，其都具有简单的用户界面，但患者需要较长的训练时间才能正常操作，并且操作速度较慢；如基于P300的浏览器，使用功能按钮来控制鼠标以实现与网页的交互；也有对网页上的元素进行独立的编号，然后通过类似打字机的方式让用户通过输入特定编号来选择目标的方法；基于SSVEP的网络浏览器是目前最快的网络浏览器。该系统的平均准确率为86.08±15.46％，但依然然需要大约20秒的时间来完成一次目标元素的选择；除了上述系统的性能都与鼠标操作有巨大的差距外，上述系统都需要提供除了网页本身内容之外的额外界面来操作整个系统，从而使得系统使用起来较为复杂，交互不友好。

发明内容

本发明旨在提供一种基于眼动和脑机接口技术的人机交互方法，通过结合眼动仪和脑机接口技术解决系统效率低下的问题，使得识别目标的时长尽可能与鼠标操作接近。通过该整合技术整合的优势，将被控制的界面与控制指令完美融合在一起，降低使用门槛和使用体验。

本发明方法通过以下步骤实现：

(1)基于眼动的快速目标初选：利用眼动追踪方法检测到注视点停留时，以注视点为圆心构建初选激活区，并激活区域半径内的多个元素；

(2)基于脑机接口的精确目标终选：被激活的各个元素周围会生成不同颜色和样式的边框，同时在边框底部的中间会生成一个刺激位点，利用脑机接口技术在激活的元素中选出最终的目标。

其中所述步骤(1)中,对于不同的脑电信号类型将提供不同的刺激类型和最大可激活元素数量：

(a)如果将SSVEP用于目标的终选方法，则在界面上的刺激位点提供稳定频率的闪烁视觉刺激。最大可激活数量由所选用的频率数量决定，通常在4至40之间；

(b)如果将P300用于目标的终选方法，则在界面上的刺激位点将依次随机闪烁1次。最大可激活数量可为任意设置值；