[发明专利]一种基于视线跟踪技术的鼠标指针控制方法及系统

说明书

技术领域

本发明涉及一种基于视线跟踪技术的鼠标指针控制方法及系统，属于机器视觉和人机交互技术领域。

背景技术

随着计算机技术的高速发展，特别是图形用户界面诞生以来，我们与计算机的交互变得更加容易、快捷。网络购物、信息查询、辅助办公、多媒体娱乐等功能为我们的生活和工作提供了方便，带来了乐趣。然而，目前存在的交互方式大都需要人手操作，从而对上肢残障人士或上肢不便者造成现代信息共享障碍，仅仅通过手操作鼠标和键盘来实现与电脑的交互，将众多想要享受其便利的上肢残疾的人拒之门外。

目前，国内通常采用的鼠标指针控制系统是以硬件为基础的鼠标指针控制方法，以硬件为基础的方法需要用户带上特制的头盔、特殊的隐形眼镜、或者使用头部固定支架、置于用户头顶的摄像机等，对用户的干扰较大。

因此，有必要在上述鼠标指针控制系统的基础上提出一种准确、实时、且有较好用户体验的鼠标指针控制系统，从而帮助残障、专业技术人员在无法使用双手的情况下实现与计算机等设备的人机交互。

发明内容

本发明提供了一种基于视线跟踪技术的鼠标指针控制方法及系统，以用于解决现有鼠标指针控制方法主要依靠双手，人机交互性较差，使得很多残疾人无法使用鼠标的问题。

本发明的技术方案是：一种基于视线跟踪技术的鼠标指针控制方法，所述方法的具体步骤如下：

Step1、通过摄像头采集图像数据，为下一步图像的处理提供数据；

Step2、使用Viola-Jones算法对采集到的第n帧图像数据进行人眼区域的检测：

采取单眼检测策略，在采集到图像中，仅检测左右任意眼区域，如果检测到人眼区域，则记录该人眼区域为W_n；接着执行步骤Step3；

如果没有检测到人眼区域，则返回步骤Step1；

Step3、在检测到的人眼区域W_n内使用Harris角点算法提取Harris角点，并记录Harris角点位置为pⁿ₁、pⁿ₂、pⁿ₃…pⁿ_n；并由第n帧所有角点位置计算得到其中心位置接着执行步骤Step4；

Step4、重新获取一帧图像n+1，重复Step1～Step3，得到第n+1帧的人眼区域W_n+1和Harris角点位置pⁿ⁺¹₁、pⁿ⁺¹₂、pⁿ⁺¹₃…pⁿ⁺¹_n；

Step5、根据检测到的前后帧Harris角点位置进行匹配操作，匹配方法如下：

以每个Harri角点为中心，将其邻域窗口M的像素值作为该Harris角点的描述符，对于图像n中的每一个Harris角点分别计算其与图像n+1中提取的各个Harris角点的邻域值差的平方和：取其最小值作为图像n+1与图像n匹配成功的Harris角点；

若匹配成功的角点大于等于三个，则执行Step6，否则返回Step3；

Step6、若根据步骤Step5匹配成功的角点分别为pⁿ₁、pⁿ₂、pⁿ₃…pⁿ_n，pⁿ⁺¹₁、pⁿ⁺¹₂、pⁿ⁺¹₃…pⁿ⁺¹_n，则计算其移动平均位移量并根据和第n帧Harris角点的中心位置(x,y)和前后帧间Harris角点的平均移动矢量控制鼠标指针移动，则得到最终的鼠标指针移动方向为(x+dx,y+dy)。

一种基于视线跟踪技术的鼠标指针控制系统，包括：

图像采集模块，用于通过摄像头采集图像数据，为下一步图像的处理提供数据；

人眼检测模块，用于对采集到的图像数据进行人眼区域的检测；

特征点提取模块，用于在检测到的人眼区域内提取Harris角点，并计算检测到的Harris角点中心位置；

特征点匹配模块，用于对检测到的前后帧人眼Harris角点进行匹配；