[发明专利]基于视频图像和人工神经网络的凝视点测量装置及其方法

说明书

技术领域

本发明涉及一种凝视点测量装置及其方法，尤其涉及一种基于视频图像和人工神经网络技术的凝视点测量装置及其方法，该装置和方法用于测量被测对象在计算机显示器表面上的凝视点位置。

背景技术

眼睛是反映人的心理活动的窗口，早在19 世纪就有人通过考察人的眼球运动来研究人的心理活动，凝视点测量装置的问世为心理学家探索人在各种不同条件下的视觉信息加工机制提供了新的有效工具。比如，凝视点测量装置可用于研究人的阅读心理。阅读速度与阅读质量一直是学生比较关注的学习问题之一，怎样提高阅读速度和质量也就成了当今心理学工作者的主要研究方向。在阅读过程中，测量凝视点的装置可以将眼球的即时数据记录下来，这些数据能够反映出读者真实的阅读加工过程。通过分析注视次数、注视频率、注视点持续时间、眼跳距离和回视次数等参数，可以判断阅读者的阅读效果以及阅读中出现问题的症结所在，以达到有效反馈的目的。

目前已有的凝视点测量方法主要有三种：眼电图法、感应线圈法和视频图像法。眼电图法和感应线圈法都属于接触式测量方法，在使用这两种方法测量凝视点时，对被测对象会产生一定的干扰，因此其测量结果不能准确体现被测对象的真实心理活动。与前两种方法相比，视频图像法属于非接触式的测量方法，即用摄像机拍摄被测对象的面部图像，然后根据瞳孔和普尔钦亮斑在图像中的位置确定被测对象的凝视点坐标。

现有的基于视频图像的凝视点测量装置主要有两大类：头盔式凝视点测量装置和桌面式凝视点测量装置。头盔式凝视点测量装置适用于真实场景的应用，比如在超市购物、货架管理和产品包装测试等机动场合做眼动研究。在使用的过程中，被测对象可以戴着头盔式凝视点测量装置，一边走一边记录凝视点数据。而桌面式凝视点测量装置适用于虚拟场景的应用，通常使用计算机显示器展现眼动实验刺激物，然后一边让被测对象凝视这些刺激物，一边用凝视点测量装置记录被测对象在计算机显示器上的凝视点坐标。桌面式凝视点测量装置又可以分为两大类：头部受限式凝视点测量装置和头部自由式凝视点测量装置。相比较而言，头部受限式凝视点测量装置可获得较高的测量精度，但是在使用的过程中，要求被测对象保持头部不动。因此从某种程度上讲，使用头部受限式凝视点测量装置获取的凝视点数据，也不能完全体现被测对象的真实心理活动。头部自由式凝视点测量装置正好相反，允许被测对象在测量过程中移动头部。但是，现有的头部自由式凝视点测量装置的测量精度较低，其主要原因是很难用一组数学公式准确地描述凝视点坐标与被测对象的头部方位之间的关系，因此就无法准确补偿由头部运动所导致的凝视点测量误差。

发明内容

如前所述，在基于视频图像的凝视点测量装置中，头部自由式凝视点测量装置对被测对象的干扰最小，因此其测量结果更能体现被测对象的心理活动。但是，头部自由式凝视点测量装置的测量精度较低，主要是因为很难用一组数学公式准确地描述凝视点坐标与被测对象的头部方位之间的关系。本发明的目的是提供一种测量精度较高的头部自由式凝视点测量装置；并提供其方法。

为了达到上述目的之一是，一种基于视频图像和人工神经网络的凝视点测量装置，包括主机、主显示器和辅显示器，所述主显示器和辅显示器分别通过信号线与主机的视频端口相连接，它还包括一个立体视觉测量系统，所述立体视觉测量系统包括光源、直流稳压电源和2个或2个以上的摄像机，所述摄像机分别通过信号线与主机相连接，所述光源通过导线与直流稳压电源的输出端子相连接。

为了达到上述目的之一是，一种基于视频图像和人工神经网络的凝视点测量方法，采用人工神经网络建立凝视点测量数学模型，所述人工神经网络的输入层包含12个输入节点，所述输入节点分别为左眼瞳孔的三维坐标分量、右眼瞳孔的三维坐标分量、左眼普尔钦亮斑的三维坐标分量和右眼普尔钦亮斑的三维坐标分量，所述人工神经网络的输出层包含2个输出节点，所述输出节点为凝视点的二维坐标分量，包括下述步骤：

1) 训练人工神经网络：

(a) 在辅显示器上依次显示9个或9个以上的坐标已知的标定目标；

(b) 一边让被测对象凝视这些标定目标，一边用立体视觉测量系统测量被测对象的左眼瞳孔三维坐标、右眼瞳孔三维坐标、左眼普尔钦亮斑三维坐标和右眼普尔钦亮斑三维坐标；

(c) 使用所述步骤(a)和(b)中所获取的数据训练人工神经网络；

2) 使用立体视觉测量系统测量被测对象的左眼瞳孔三维坐标、右眼瞳孔三维坐标、左眼普尔钦亮斑三维坐标和右眼普尔钦亮斑三维坐标，然后由经过所述步骤(1)训练的人工神经网络计算被测对象在辅显示器上的凝视点坐标。