[发明专利]眼部和头部跟踪

说明书

本公开描述了用于检测并跟踪用户的视线和头部运动的系统、方法和计算机可读介质。一般来讲，公开了用于识别用户的瞳孔位置并使用该信息结合用户头部的三维(3D)模型来执行视线跟踪操作的技术。更具体地，本文所公开的技术利用瞳孔梯度信息来细化初始瞳孔位置估计。一旦被识别，瞳孔的位置可与3D头部姿态信息结合以生成准确稳健的视线检测机制。

相关申请的交叉引用

本申请根据35U.S.C.§119(e)要求于2016年9月22日提交的美国临时申请62/398,380和于2016年9月22日提交的美国临时申请62/398,398的优先权，其内容全部以引用方式并入本文。

背景技术

本公开整体涉及对眼部和头部移动的检测。更具体地，但并非限制性地，本公开涉及用于检测瞳孔位置以及利用该信息和头部模型来跟踪视线的技术。

最近已经注意到，使用视频序列进行三维(3D)头部跟踪，或使用多个图像进行姿态估计是稳健面部分析和面部识别的必要前提。眼部跟踪通常形成这些操作的基础，并且可被认为是以电子方式定位人的视点，或跟踪并记录人的视点的移动的过程。在实施过程中，通过定位和跟踪来自所施加的光源的角膜反射来提供眼部跟踪。由于红外光或近红外光是人眼无法感知的，因此通常被用作光源；红外光或近红外光经过瞳孔，但由虹膜反射，从而在瞳孔和虹膜之间产生分化。

发明内容

在一个实施方案中，所公开的概念提供了一种用于在第一时间段期间从第一图像捕获设备和第二图像捕获设备中的每个图像捕获设备捕获一个或多个图像的方法；在第一时间段期间，从第一光发射器和第三光发射器而不是从第二光发射器和第四光发射器发射光——示例性光发射器包括红外或近红外光发射器。在一个实施方案中，第一图像捕获设备和第二图像捕获设备彼此并置；第一光发射器和第二光发射器彼此并置并且被布置到第一图像捕获设备的第一侧；并且第三光发射器和第四光发射器彼此并置并且被布置到第二图像捕获设备的第二侧。所公开的方法可通过在第二时间段期间从第一图像捕获设备和第二图像捕获设备中的每个图像捕获设备捕获一个或多个图像来继续；并且在第二时间段期间，从第二光发射器和第四光发射器而不是从第一光发射器、第三光发射器发射光。在一个实施方案中，第一图像捕获设备和第二图像捕获设备可被配置为具有不完全重叠的视场(例如，用于提供立体图像信息)。在一些实施方案中，本发明所公开的方法可进一步包括利用在第一时间段期间捕获的一个或多个图像检测第一眼睛；确定第一眼睛的初始瞳孔位置，其中所述初始瞳孔位置以第一二维(2D)区域来限定；识别完全在第一区域内的第二区域；识别完全在第一区域之外的第三区域；将介于第二区域和第三区域之间的那一区识别为第四区域，所述第四区域包括多个像素；确定第四区域中的像素的至少一部分的梯度；从所述多个像素中识别第一组像素，其中第一组像素中的每个像素具有满足第一标准的梯度值；并且基于第一组像素识别第一眼睛的经更新的瞳孔位置。在其它实施方案中，本发明所公开的方法可包括基于第一眼睛的经更新的瞳孔位置来确定第一视线方向。在其它实施方案中，本发明所公开的方法还可包括基于在不同时间捕获的多个捕获图像来确定第一眼睛的多个视线方向。在另一个实施方案中，各种方法可体现在计算机可执行程序代码中并存储在非暂态存储设备中。在另一个实施方案中，该方法可在具有图像捕获能力的电子设备中实现。

在一个实施方案中，本发明所公开的概念描述了一种用于接收一组瞳孔的一个或多个立体图像、根据立体图像来计算所述一组瞳孔中的每个瞳孔的位置、基于一个或多个立体图像来确定头部姿态、基于所确定的头部姿态来识别所述一组瞳孔在头部中的位置，以及使用头部姿态和所述一组瞳孔中的每个瞳孔的位置来识别视线的方法，其中所述一组瞳孔中的每个瞳孔为头部的眼睛的一部分。在另一个实施方案中，各种方法可体现在计算机可执行程序代码中并存储在非暂态存储设备中。在另一个实施方案中，该方法可在具有图像捕获能力的电子设备中实现。

附图说明

图1以流程图形式示出了根据一个实施方案的瞳孔识别操作。

图2示出了根据一个实施方案的图像捕获操作。