[发明专利]可靠地检测注视与刺激之间的关联的方法

说明书

本申请描述了用于校准眼睛跟踪系统的系统和技术。所述系统基于用户在用户界面上的注视而连续地更新个人校准参数的校准，用户在用户界面上的注视发生在用户界面刺激事件之后。通过确定用户眼睛连续事件和刺激事件之间的关联并且相应地更新个人校准参数，所述系统改进了连续校准技术。记录指示用户注视在一时间段内保持，所述用户注视包括眼睛连续事件(例如，眼睛运动或眼睛固定)。检测与所述用户界面相关联并且在所述时间段内发生的用户界面刺激事件。确定所述眼睛连续事件和所述用户界面刺激事件之间的关联。产生包括眼睛连续事件和刺激事件的位置的交互观察。基于该交互观察更新个人校准参数。

技术领域

本申请涉及注视检测系统和方法。在一个示例中，这类系统和方法取决于对眼睛模型或深度学习模型的个人校准参数，以确保从用户眼睛的观察准确地推断出用户注视的目标。

背景技术

与计算设备的交互是当今世界中的基本动作。诸如个人计算机、平板电脑、智能电话等的计算设备是日常生活中随处可见的。另外，可佩戴的计算设备——例如可佩戴头戴设备(例如，虚拟现实头戴设备和增强现实头戴设备)——变得越来越流行。用于与这些设备互动的系统和方法定义了它们的使用方式和它们的用途。

眼睛跟踪技术的发展可实现利用人的注视信息而与计算设备交互。换句话说，用户在显示器上注视的位置。该信息可单独地使用或与基于接触的交互技术(例如，使用用户输入设备，例如键盘、鼠标、触摸屏、或另一输入/输出接口)结合地使用以进行交互。

先前提出的使用注视信息的交互技术可以在美国专利6,204,828、美国专利申请公布20130169560、美国专利7,113,170、美国专利申请公布20140247232以及美国专利9,619,020中找到。这些专利和申请的说明书全文被援引包含于此。

为了确保从用户眼睛的观察准确地推断出用户注视的目标，需要对诸如基于深度学习的模型或瞳孔中心角膜反射(PCCR)模型之类的眼睛模型进行校准。注意，术语“眼睛模型”和“个人校准参数”在本文中用于表示校准眼睛跟踪系统的参数，其中这些参数可针对眼睛跟踪系统的用户被个性化。这可包括诸如PCCR的眼睛模型、机器学习或深度学习系统或另一模型。

例如，可使用5点、7点或9点图案来获得个人校准参数(例如，瞳孔和中央凹偏移)的彻底校准。然而，随着时间流逝，从这种最初校准产生的个人校准参数在由于光照改变、眼睛疲劳等导致的用户眼睛改变(例如，瞳孔尺寸改变)的情况下变得不大适用。例如，当瞳孔尺寸改变时，瞳孔偏移可能改变，并且角膜形状在一整天都会变化。

结果，基于已有校准参数计算出的注视逐渐地变得不那么准确，并且模型需要重新校准。对此进行校准的一种方法是提示用户作出有补充手动校准，其类似于最初校准。然而，这对于用户是不便的和具有扰乱性的，因为在执行完全多点校准过程时必须中断其它应用。

发明内容

本公开的一个实施例提供了用于校准眼睛跟踪系统的系统和方法。在操作中，所述系统更新记录，所述记录指示在一时间段内用户在用户界面上的注视，所述用户界面与眼睛跟踪系统关联，所述记录包括眼睛连续事件。所述系统检测在所述时间段内发生并与用户界面关联的用户界面刺激事件。所述系统接着基于所述记录确定眼睛连续事件与用户界面刺激事件之间的关联。所述系统然后基于该关联产生第一交互观察，所述第一交互观察至少包括眼睛连续事件和与用户界面关联的用户界面刺激事件的位置。最后，系统基于所述第一交互观察而更新个人校准参数以用于跟踪用户注视。

在一个实施例中，当确定眼睛连续事件和用户界面刺激事件之间的关联时，系统基于用户界面刺激事件的类型确定记录的时间段内的用户注视时间间隔。系统从所述记录识别在所述用户注视时间间隔内发生的眼睛连续事件。系统随后基于眼睛连续事件的识别来确定所述关联。