[发明专利]一种自适应视线跟踪系统

说明书

本项目得到天津师范大学博士基金资助，资助号：52X09008。

技术领域

本发明属于人机接口技术领域，具体地是涉及一种自适应视线跟踪系统。

背景技术

视线跟踪技术是未来智能人机接口的关键技术之一，在人机交互领域有着广阔的应用前景。眼注视是一种非常好的能使人机对话变得简便、自然的候选输入通道，将人的眼睛作为输入媒介，通过眼睛盯视对外部设备进行控制可以实现多任务操作，在一些工业控制、机器人学和临床医学上有着广泛的发展前景。

视线跟踪是根据眼睛的特征和位置以及其他一些脸部线索来决定用户注视的方向，获得用户的意图。作为人机交互技术的重要分支，视线跟踪技术主要研究对人类眼睛运动特性的检测与识别，实现对其他功能系统的自动控制。该技术的最大优点是可以通过眼睛注视实现对外部设备的控制，进而实现多任务操作，在军事及民用上具有广阔的应用前景。

视线跟踪技术可分为以硬件为基础的和以软件为基础的两种。以硬件为基础的方法需要用户戴上特制的头盔、置于用户头顶的摄像机、或者使用头部固定支架等，对用户的干扰很大。为了克服视线跟踪装置对人的干扰作用，研究人员提出了用软件实现的对用户无干扰的视线跟踪方法。其基本工作原理是先利用摄像机获取人眼或脸部图像，然后用软件实现图像中人脸和人眼的定位与跟踪，从而估算用户在屏幕上的注视位置。以软件为基础的视线跟踪技术，对用户的限制大大降低，用户的头部可以移动，但其精度相对较低。如何在不干扰用户的前提下，获得准确的注视焦点是视线跟踪技术相关研究人员需要解决的重要问题。

发明内容

本发明为了解决现有技术中的问题，而提供了一种自适应视线跟踪系统及跟踪方法，在提高视线跟踪系统精度和可靠性的同时，尽量减少对用户的干扰及限制。

本发明所采取的技术方案是：

本发明的自适应视线跟踪系统，包括通过数据线相互连接的CCD摄像机、图像采集卡和计算机；CCD摄像机设置在摄像机云台上，并装有电动连续可变焦距的变焦镜头。

采用上述跟踪系统的自适应视线跟踪方法，包括下列步骤：

第一，图像预处理

将CCD摄像机采集到的人眼图像传输到计算机后，首先将图像进行Directionlet变换，对变换系数采用软阈值处理，去除高频噪声；

第二，瞳孔边界点提取

在人眼图像上设定一个搜索窗，利用搜索窗内瞳孔二值化图粗定瞳孔中心，并作为搜索瞳孔边界的起始点，在不同方向上做一维扫描，在搜索线上感兴趣区域，结合像素点灰度值、梯度值及边界曲线的平滑特性，由式（1）通过寻找最大值，决定边缘点位置 r，提取边界点；

其中， 为判据函数， 为搜索点灰度值， 为瞳孔阈值， 为搜索点梯度值，由一维梯度算子 [-1  0  1] 计算得到， 为相邻搜索线上得到的边界点半径。、、 为由试验定值的权重参数；

第三，椭圆拟合

对提取的瞳孔边界点集中每一个样点，从其补集中随机抽取 5个样点，组成没有重复的样点子集（有6个相异点），计算该样点子集；若计算结果表明，拟合为非椭圆或椭圆参数不合理，则重复随机抽取和上述计算；若参数表明是合理椭圆，则保留参数；对每一个样点重复同样的操作，最后对所有保留的参数分别取各自的中值作为椭圆拟合的最后估计值；

第四，确定瞳孔中心

椭圆用圆锥曲线方程表示如下：

中心位置 用公式（3）可以求出：

第五，瞳孔跟踪

对捕获的图像序列，每一帧中瞳孔的状态用其位置与速度来表示，利用卡尔曼滤波预测初始状态，并进行更新，以实现瞳孔跟踪。

本发明的优点和有益效果为：

本发明建立了软硬件结合的适用于头部转动情况下的自适应视线跟踪系统理论模型和实验装置，实现对用户无干扰条件下的高精度视线跟踪。为克服视线跟踪技术中的头动影响，采用基于多尺度几何分析面向头动情况下的自适应视线跟踪方法。将多尺度几何分析工具引入视线跟踪领域，采用基于Directionlet变换的人眼及面部图像特征的高精度检测算法，提高人眼边缘检测效率和精度；结合神经网络与遗传算法，研究了眼睛及面部图像特征和眼睛注视点的非线性映射关系，提出视线方向检测的新方法。

附图说明

图1为本发明的自适应视线跟踪系统的结构框图；

图2为本发明的自适应视线跟踪方法的流程图；

图3为本发明的自适应视线跟踪系统的原理图。

具体实施方式