[发明专利]基于视线跟踪与语音识别的字符输入装置和方法

说明书

技术领域

本发明属于图像处理技术领域，更进一步涉及人机交互技术领域中基于视线跟踪与语音识别的字符输入装置和方法。本发明可用于人机交互技术领域中通过视线跟踪和语音识别，实现全键盘英文字符输入以及四则运算。 

背景技术

人机交互(Human-Computer Interaction，简写HCI)是指人与计算机之间使用某种对话语言，以一定的交互方式，为完成确定任务的人与计算机之间的信息交换过程。基于视线跟踪技术的人机交互方法是一种自然和谐的人机交互方式。现有的视线跟踪技术是在计算机屏幕上绘制键盘，通过视线跟踪系统分析并反馈用户注视的字符，由用户确定是否输入，从而实现人机交互。 

北京理工大学拥有的专利技术“一种基于视线跟踪和P300脑电电位的字符输入装置”(专利申请号200910080852.5，授权公告号CN 101515199)公开了一种基于视线跟踪和P300脑电电位的字符输入装置。该装置实质上根据用户视线确定候选字符集，控制字符集中所有字符键闪烁，激发P300脑电电位，根据电位产生时间和视线定位确定用户期望字符键，实现字符输入操作。该专利技术存在的两点不足：一是注视精度有限。该装置先检测用户虹膜，拟合虹膜的椭圆轮廓，再由椭圆参数计算瞳孔相对于眼角的偏移程度，因此眼图处理精度有限，导致了注视精度有限，不能一次定位到用户的期望字符键。二是需要计算出候选字符集合中每个可能字符为用户期望字符的概率，确定用户的空间域候选集，然后控制空间域候选集中字符随机闪烁，激发用户的P300脑电电位，采集并分析脑电电位信号来计算各可能字符为靶刺激的概率，确定时间域候选集，最后根据两个候选集联合计算出可能性最高的字符作为用户期望字符键，这就导致了字符输入过程、确认过程复杂。 

上海交通大学蒋春燕的学位论文“视线跟踪技术研究及其在人机交互字符输入中的应用”(万方国内学位论文，2008年02月01日)，使用了一种单摄像机的视线检测 字符输入方法，通过摄像机捕捉用户的虹膜中心，判断用户的视线盯视内容，再由系统做出相应的反馈和运行。该方法存在四点不足之处：一是先通过Canny边缘检测，确定了虹膜的边缘，再通过Hough变换检测虹膜并确定虹膜中心，该方法眼图处理精度不够，导致了视线注视精度有限；二是摄像机固定于显示器上，使用佩戴式标定帽上的三点作为参考点，通过提取三点的位置信息来规划摄像机的运动，用于补偿用户头部运动产生的影响，该方法对用户头部运动的补偿是有限的，这就导致了头部运动对精度的影响大；三是该方法要求用户盯视期望字符2s来完成字符输入，这必然会造成操作复杂，易引起用户视觉疲劳；四是该方法精度有限，在分辨率为1024*768的显示器上绘制了28个字符键，界面上每个字符键都比较大，只显示了有限的字符，这导致了人机交互功能的局限性。 

华南理工大学申请的专利“视线跟踪方法及应用该方法的残疾人辅助系统”(专利申请号200810030010.4，公开号CN 101344919A)，公开了一种视线跟踪方法及应用该方法的残疾人辅助系统。该系统将人眼注视屏幕四个区域的四种不同方向作为用户发出的四种控制信息，模拟键盘的四个方向键，来完成控制轮椅和控制计算机的简单操作。该专利申请存在的不足是，由于视线注视精度低，仅能利用视线输入四种控制信息，导致了人机交互功能的局限性。 

山东大学申请的专利“一种基于视线跟踪的密码输入控制方法”(专利申请号201110067148.3，公开号CN 102129554A)，公开了一种基于视线跟踪的密码输入控制方法。该方法首先处理人脸图像，提取人眼特征参数，再使用基于相似三角形的双光源视线跟踪实现从人眼特征参数到当前注视点位置的估计，最后根据注视点位置，利用时间门限及声音反馈来控制密码输入操作。该方法存在两点不足，一是从人脸图像中分割出来的瞳孔图像分辨率低导致瞳孔中心定位精度有限，并采用基于相似三角形的双光源视线跟踪标定方法，该方法实现的密码输入视线注视精度有限；二是该方法只限于用于密码输入，输入字符有限，这导致了人机交互功能的局限性。 

发明内容

本发明的目的在于克服上述现有技术的不足，提供一种基于视线跟踪与语音识别的字符输入装置和方法，使得用户通过眼睛的注视和语音的确认完成字符的输入操作以及四则运算操作，所获得的视线跟踪字符输入注视精度高，头部活动范围较大，操 作更加简捷。