[发明专利]人机交互设备及人机交互方法

说明书

技术领域

本发明涉及多媒体技术，尤其涉及一种人机交互设备及人机交互方法。

背景技术

随着信息技术的发展和信息应用系统的普及，用户已经致力于寻求更为“好用、适用、易用”的计算机，希望在与计算机“合作共事”的过程中，计算机会逐步了解用户的需求、爱好和水平，并且用户和计算机的“学问”一起增长，这种“人机智能共增”的技术水平和应用结果是计算机技术和人工智能技术发展到一个新的阶段的重要标志之一。在以计算机或类计算机为核心的电子产品时代，人机交互技术正成为各国研究的重点之一。

在人机交互技术的早期阶段，通常以键盘为主，用户通过键盘和鼠标输入计算机指令，计算执行相应的指令；现代的人机交互方式还有触控，使用者用手或其他触控工具(例如触控笔)接触触控屏，被接触处的电阻或电容就会发生相应的变化，计算机通过采集不同点的数值，就能判断出触摸点的位置，从而可以实现一些操作如拖拽、缩放等；近来还有体感型人机交互，这种交互方式是通过遥控器内的加速度传感器感知使用者手部的运动来实现的；另外的一种交互方式是数据手套，这种方式同样是通过手套上的带有的弯曲传感器来采集人的手部动作来实现交互的。

对于传统的键盘、鼠标之类的交互方式，需要使用者接触键盘，鼠标来进行操作；触控要求使用者必须在设备前使用，接触控屏幕，远离触控屏则无法交互；体感式的交互方式，需要使用者拿着带传感器的遥控设备做出大幅度的肢体动作来操作；而对于据手套这种压力传感器接口的传感器数目较多，而且响应的标定和解耦计算十分复杂，进行实时处理时困难较大。数据手套作用范围也小；另外，数据手套可以采集肢体动作，但穿戴起来麻烦，操作不便而且对于行动不便，或肢体残疾的人，可操作性也差。

发明内容

基于此，有必要针对上述人机交互系统存在的缺陷，提供一种可操作性强、简便实用的人机交互设备。

一种人机交互设备，包括：脑电拾电电极，用于获取用户脑电信号；信号处理模块，用于采集所述脑电信号，并将所述脑电信号放大；视频采集模块，用于捕获用户手势动作及周围场景图，微处理器，用于接收经放大后的脑电信号，同时根据所述脑电信号形成控制指令，所述微处理器处理还用于所述周围场景图以形成虚拟场景，所述微处理器还用于根据所述手势动作定位所述虚拟场景中的目标物体，并根据所述控制指令控制所述目标物体的变化；及视频显示模块，电性连接于所述微处理器，用于显示所述虚拟场景。

在本实施例中，所述视频采集模块由至少1个摄像头组成。

在本实施例中，所述视频显示模块为眼镜式微显示屏

另外，本发明还提供了一种人机交互的方法，包括下述步骤：脑电拾电电极获取用户脑电信号；信号处理模块采集所述脑电信号，并将所述脑电信号放大；视频采集模块捕获用户手势动作及周围场景图；微处理器将所述周围场景图转换成虚拟场景，并通过视频采集模块显示所述虚拟场景；微处理器接收经放大后的脑电信号，同时将所述脑电信号形成控制指令；微处理器根据所述手势动作定位所述虚拟场景中的目标物体；根据所述控制指令控制所述目标物体的变化。

在本实施例中，其中，微处理器接收经放大后的脑电信号，同时根据所述脑电信号形成控制指令，包括下述步骤：将接收到的脑电信号进行去噪；将去噪后的脑电信号小波分解并提取分类特征；基于所述分类特征依据SVM训练分类器进行分类；依据所述分类形成控制指令。

在本实施例中，其中，根据所述手势动作定位所述虚拟场景中的目标物体，包括下述步骤：将所述周围场景图的坐标映射关系转换至图像平面坐标；分割出手指区域；计算出各手指区域的图像平面坐标；将上述各手指区域的图像平面坐标与上述显示的虚拟场景的图像平面坐标进行匹配。

上述人机交互设备通过采集脑电信号，将采集到的脑电信号转换成控制指令，将手势动作定位虚拟场景中的目标物体，并根据控制指令控制目标物体的变化，实现与虚拟场景交互。由于使用者无需用手接触键盘、鼠标、屏幕等这些设备，无需在手上佩戴传感器，用户可以通过简单的手势动作和脑电信号来与实景虚拟现实交互，可实现放大、缩小场景、定位、移动虚拟场景中的目标物体，可操作性强、精确且简单方便。

附图说明

图1为本发明实施例提供的一种人机交互设备的结构示意图。

图2为本发明实施例提供的一种人机交互的方法的步骤流程图。

图3为本发明实施例提供的微处理器接收经放大后的脑电信号，同时根据所述脑电信号形成控制指令的步骤流程图。

图4为本发明实施例提供的根据手势动作定位虚拟场景中的目标物体的步骤流程图。

具体实施方式