[发明专利]对用于三维(3D)注视预测的神经网络的训练

说明书

本申请描述基于深度学习系统产生3D注视预测的技术。在一个示例中，深度学习系统包括神经网络。使用训练图像来训练神经网络，训练图像由相机产生，并且示出注视刺激点时的用户眼睛。刺激点中的一些在相机的平面中。其余的刺激点不在相机的平面中。训练包括输入与相机平面中的刺激点相关联的第一训练图像，以及输入与相机平面之外的刺激点相关联的第二训练图像。训练基于刺激点中的至少一个与注视线之间的距离来最小化神经网络的损失函数。

技术领域

本申请涉及注视检测系统和方法。在一个实例中，该系统和方法依赖于深度学习系统——例如神经网络——以检测三维(3D)注视。

背景技术

与计算设备的互动在当今世界中是十分重要的动作。计算设备——诸如个人计算机、平板计算机、智能电话——在日常生活中随处可见。另外，可佩戴的计算设备——例如可佩戴的头戴设备(例如，虚拟现实头戴设备和增强现实头戴设备)——正变得越来越流行。用于与这些设备互动的系统和方法定义了这些设备是如何使用的以及这些设备是用来做什么的。

眼睛跟踪技术的发展使得能够使用人的注视信息来与计算设备交互。换句话说，显示器上用户的注视位置。该信息可单独地用于交互，或与基于接触的互动技术(例如，使用用户输入设备，比如键盘、鼠标、触摸屏或其它输入/输出接口)相结合以用于交互。

之前提出的使用注视信息的交互技术可以在美国专利6,204,828、美国专利申请公布20130169560、美国专利7,113,170、美国专利申请公布20140247232和美国专利9,619,020中找到。这些专利和申请的全文援引包含于此。

总的来说，基于注视的交互技术依赖于检测用户对注视点的注视。已有的系统和方法可精确地检测二维(2D)注视。最近，已采用神经网络来检测所述2D注视。

已尝试将依赖于神经网络的已有技术扩展到三维(3D)注视。然而，预测的准确性不如对2D注视的预测准确性那么好。如果没有准确的3D注视跟踪，则对于立体显示和3D应用的支持受到显著限制。此外，即便在2D领域中，神经网络通常是针对具体相机和屏幕配置(例如，图像分辨率、焦长、与计算设备的屏幕的距离、屏幕尺寸等)而被训练的。因此，每当所述配置改变(例如，不同的图像分辨率、不同的屏幕尺寸等)，神经网络不再能够以可接受的准确性来预测2D注视。对于新的配置重新训练神经网络将变得需要。

发明内容

本公开的实施例涉及基于深度学习系统的三维(3D)注视检测。在一个示例中，计算机系统访问训练图像，所述训练图像包括第一组训练图像和第二组训练图像。第一组训练图像展示与相机平面内的注视点相关联的用户眼睛。第二组训练图像展示与相机平面之外的注视点相关联的用户眼睛。计算机系统基于训练图像对神经网络进行训练。训练包括将第一训练图像输入到神经网络。第一训练图像属于第一组训练图像。训练也包括将第二训练图像输入到神经网络。第二训练图像属于第二组训练图像。训练还包括基于注视点与注视线之间的距离使神经网络的损失函数最小化。注视点关联于第一训练图像或第二训练图像中的一个。对于第一训练图像或第二训练图像中的该一个中所示的用户眼睛，通过神经网络来预测注视线。

提到这些解说性实施例并不旨在对本公开进行限制或定义，而是为了提供帮助理解本公开的实例。在具体实施例部分阐述了额外的实施例，并且在那里提供了进一步的说明。

附图简述

可通过参照下列附图来实现对各种实施例的本质和优点的进一步理解。在附图中，相似的部件或特征可具有相似的附图标记。此外，相同类型的各个部件可通过在该附图标记后面加上折线和在类似部件之间进行区分的第二附图标记来作出区分。只要在说明书中使用第一附图标记，那么这种描述可适用于具有相同的第一附图标记的任何一个类似部件，而不管第二附图标记如何。

图1示出根据一个实施例的眼睛跟踪系统。

图2示出根据一个实施例的、由图像传感器捕获的眼睛的图像的实例。