[发明专利]一种基于眼部区域运动特征提取与跟踪的鼠标系统

说明书

(一)技术领域

本发明涉及一种不需要双手操作，而是通过眼部移动和眼睛眨动产生鼠标信号控制电脑屏幕上光标的装置，属于电子设备领域。

(二)背景技术

随着电子技术、网络技术及智能技术的发展，电脑已成为人们生活工作中的必备。但对于肢体残疾的人及身处特殊工作领域的人来讲，操控电脑成为他们应用电脑的瓶颈。例如，双臂、双手残疾的人或者由于神经受损导致全身瘫痪的人不能使用鼠标及键盘操作电脑，因为无法享受电脑带来的娱乐乐趣；一些技术工人可能在进行机械设备操作或维护的同时需要查阅资料，但由于双手暂时不能空闲而无法操控电脑；医生们可能由于卫生等原因不能用双手触摸电脑操控设备。因此，提供更加自由便捷、更加智能化人性化的操作方式将成为电脑技术开发人员及制造商的新课题。

本发明为残疾人及特殊行业需求的工作人员提供一种基于眼部区域运动及双眼眨动的光标控制方式，同时，本技术也可应用于汽车驾驶上，可以感知驾驶者眼睛的注视点，如果驾驶者因为疲劳或注意力分散，眼睛的注意力偏离了前方或者眼睛长时间注视某点，该装置可以发出警告。

(三)发明技术

为了实现以上的发明目的，本发明的技术方案是：

一种基于眼部区域特征提取与跟踪的鼠标系统，其特征在于：整个系统由视频采集单元、图像处理及其特征提取单元、目标跟踪单元和信号转换输出单元构成。视频采集单元置于电脑显示屏或其他用户面对的设备上，视频采集单元获取包括整个面部信息及其它背景信息的连续视频信号，并输出至图像处理及其特征提取单元。图像处理及其特征提取单元进行面部图像的初始化，包括转换成灰度图象，并提高其对比度，去除头发、衣服和背景噪声，提取包括眉毛与眼睛的眼部特征。目标跟踪单元建立眼部特征模板并进行眼部运动检测与跟踪，由眼部运动信号在水平与垂直方向上分别建立电脑光标运动控制信号。信号转换输出单元将前一单元生成的光标运动控制信号转换成串行鼠标或PS/2鼠标数据格式。信号转换输出单元连接电脑硬件，将鼠标控制信号输入给电脑。

本发明的进一步特征还包括：

眼部特征提取与跟踪技术特征在于：(1)采用临帧眼睛区域像素差分算法完成眼睛的定位；(2)建立差分图的水平投影函数，设置水平投影阈值和模糊宽度去除差分图的大部分噪声；(3)进行区域能量积累，进行眼部区域的精确定位；(4)根据眼睛和眉毛的几何特征及眼部区域位置信息建立眼部区域模板，并计算其水平和垂直投影函数作为眼部特征模板；(5)采用模板匹配方法检测眼部运动。

所述的带有操作性质的眼部表情包括双眼眨动、单眼眨动、眼部运动。多次(三次或两次)双眼眨动表示光标的扑获和放弃；左眼眨动表示左键操作，右眼眨动表示右键操作；眼部区域运动控制光标的运动。

基于眼部区域特征提取与跟踪的鼠标控制系统操作特征在于：(1)鼠标系统首先处在检测状态，直到检测到多次双眼眨动。第一次检测到多次双眼眨动表示扑获光标，眼部动作开始对光标进行控制。第二次检测到多次双眼眨动表示释放光标，眼部动作无法操作光标，直到再一次检测到多次双眼眨动。(2)光标扑获之后，根据双眼的位置首先可以估计眼部区域，建立眼部区域模板及单眼眨动和双眼眨动模板，然后可以建立眼部动态范围，在此范围内利用以上模板进行匹配，可以单眼眨动和双眼眨动操作。(3)根据眼部区域的历史运动轨迹估计此刻的位置信息，根据眼部眨动情况及眼睛和眉毛的位置信息建立眼部区域位置量测值，基于卡尔曼滤波器估计眼部区域的实际位置。

由眼部运动信号在水平与垂直方向上分别建立电脑光标运动控制信号，其特征在于对眼部在水平与垂直方向的运动信号进行积分，直到眼部运动停上。新的眼部运动信号将产生新的积分信号。积分信号转换成电脑光标运动的控制信号。

(四)附图说明

为使对本发明的目的、特征和优点有较清楚的理解，现结合附图说明如下：

附图1是本发明的系统整体框图。

附图2是本发明的眼部特征提取及眼部运动检测与跟踪系统框图。

附图3是视频采集单帧的灰度图。

附图4是视频单帧图像预处理结果图。

附图5是面部特征提取结果图。

附图6是眼部特征提取及其水平和垂直投影函数图。

附图7是眼部定位结果图。

附图8是眼部区域及其水平和垂直投影函数图。

附图9是眼部区域运动后的水平和垂直投影函数图。

(五)具体实施方式

下面结合附图对本发明作进一步描述。