[发明专利]一种眼控鼠标实现方法及识别眼动轨迹实现键盘输入方法

说明书

本发明公开了一种眼控鼠标实现方法及识别眼动轨迹实现键盘输入方法，首先从网络摄像头读取一帧分辨率为640*480图像，经过人眼定位跟踪，人眼预处理等操作后，将预处理后的人眼图像输入卷积神经网络中以粗略预测人眼在电脑屏幕上的注视点然后利用该预测结果，使用三种鼠标移动方式，可以将鼠标光标精准移动到目标物体上并用类似眨眼的方式触发点击操作；提出了一种识别眼动轨迹实现键盘打字的方法，设计了打字的流程，设计了91种键盘键位对应的视线轨迹，可基本实现键盘上所有按键的输入。本发明可利用视线追踪不精确的定位结果，完成计算机上精确的交互，还可代替硬件键盘和鼠标；交互所需的额外采集设备为一个单目网络摄像头，成本低易获得。

【技术领域】

本发明涉及属于视觉跟踪技术领域，具体涉及一种眼控鼠标实现方法及识别眼动轨迹实现键盘输入方法。

【背景技术】

现有的已经市场化的眼动仪技术成熟、精度高。完全可以满足所有的眼动研究以及眼动交互任务。但是眼动仪的价格通常在千元级别，设备比较昂贵。

科研人员研制的低成本硬件能解决特定人群的部分需求，但封闭的研发过程使得他们的技术不易普及。

一款简单、便捷且大多数人都容易获得的眼动交互技术有待开发。相较于昂贵的眼动仪，价格低廉的网络摄像头更易获得，大多数笔记本电脑就自带前置网络摄像头，可以提供现成的设备环境。

本发明的目的是利用最简单的网络摄像头作为眼动数据的采集设备。使用卷积神经网络粗略估计人眼视线方向，并提出一种可以高精度移动鼠标光标的方法，和一种采用视线轨迹的键盘输入方法，完成计算机上大部分常规输入功能。使普通人在使用计算机时能够解放双手，肢体障碍人士无需四肢就可以操控计算机。

【发明内容】

为解决上述问题，本发明提出了一种眼控鼠标实现方法及识别眼动轨迹实现键盘输入方法。

本发明的技术方案如下：

本发明粗略定位注视点所使用到的卷积神经网络是一个比较普通的网络结构，只做了参数和结构上的优化，使之其误差尽可能的减少。

不过由于这种神经网络预测人眼视线的方法是基于一个低分辨率平面图像的，与眼动仪这种能够获取瞳孔立体信息的设备相比误差较大，抖动范围也很大。难以稳定预测注视点完成操作鼠标和输入字符这种高精度的操作。所以基本没有研究人员利用这种方法来分析人眼焦点或是做交互应用的研究。因此本发明的创新点就是提出了使用低分辨率图像的卷积神经网络视线追踪方式在计算机上的交互办法：

1、利用视线追踪不精准的预测结果，提出了三种鼠标移动方式，可以精准移动到目标物体上。

2、提出了一种识别眼动轨迹实现键盘打字的方法，设计了打字的流程，设计了91种键盘键位对应的视线轨迹，可基本实现键盘上所有按键的输入。

本发明的技术方案如下：

一、一种眼控鼠标实现方法，包括以下步骤；

(1)从网络摄像头读取一帧分辨率为640*480图像，包含使用者的正脸。经过人眼定位跟踪，人眼预处理等操作后，得到最终作为识别和分析的人眼图像；

(2)将预处理后的人眼图像作为输入，首先经过两个卷积层进行卷积操作。卷积层用到20个卷积核，尺寸为(5，5)，步长为(1，1)，激活函数为Relu。在卷积提取特征完毕以后，经过池化层，池化层的尺寸为(2，2)，步长为(2，2)，随后将两张图片的特征进行融合，经过全链接层，激活函数tanh，得到两个输出参数，即预测的注视点在屏幕上的坐标x,y归一值。此外，也可采用其他主流的基于外观的注视估计办法来对视线的方向进行预测，预测所需的数据需要预处理后的人眼图像，也可能需要人脸姿态，角度等参数。但预测得出的结果都为预测的注视点在屏幕上的坐标x,y归一值。