[发明专利]用于头戴式显示设备的眼睛跟踪系统

说明书

本公开涉及用于在各种应用中使用的眼睛跟踪的系统和方法，例如包括头戴式显示设备的虚拟现实或增强现实应用。可以提供一种眼睛跟踪子系统，其包括多个组件，每个组件包括光源(例如LED)、光检测器(例如硅光电二极管)、以及偏振器。偏振器被配置成防止经由镜面反射所反射的光到达光检测器，使得光检测器仅检测到散射光。机器学习或其它技术可以用于跟踪或以其它方式确定用户的凝视方向，用户的凝视方向可以由HMD设备的一个或多个组件使用，以各种方式改善其功能。

技术领域

下面的公开内容总体上涉及用于眼睛跟踪的技术，更具体地，涉及用于头戴式显示设备中的眼睛跟踪的技术。

背景技术

头戴式显示器(HMD)设备或系统是佩戴在用户头部上的电子设备，并且当如此佩戴时，将至少一个电子显示器固定在用户眼睛的至少一个的可视区域内，而不考虑用户头部的位置或方向。用于实施方式虚拟现实系统的HMD设备通常完全包围佩戴者的眼睛，并用“虚拟”现实替换佩戴者前方的实际视图(或实际现实)，而用于增强现实系统的HMD设备通常提供佩戴者眼睛前方的一个或多个屏幕的半透明或透明覆盖，从而用附加信息增强实际视图。对于增强现实系统，HMD设备的“显示”组件或者是透明的，或者是在用户视野的外围，从而它不会完全阻止用户看到他们的外部环境。

发明内容

头戴式显示器(HMD)系统可以概括为包括可佩戴在用户头部上的支撑结构；连接到支撑结构的眼睛跟踪子系统，眼睛跟踪子系统包括多个眼睛跟踪组件，每个眼睛跟踪组件包括用于发射光的光源；光检测器，用于检测光；以及偏振器，位于光源和光检测器中的至少一者的附近，偏振器被配置为防止经由镜面反射所反射的光被光检测器接收；至少一个处理器；以及存储器，存储指令或数据集合，作为执行的结果，该指令或数据集合使HMD系统：选择性地使多个眼睛跟踪组件的光源发光；接收由多个眼睛跟踪组件的光检测器捕获的光检测信息；将所接收的光检测信息作为输入提供给预测模型；响应于提供光检测信息，从预测模型接收用户的眼睛的经确定凝视方向；以及将经确定凝视方向提供给与HMD系统相关联的部件以供其使用。光检测信息可以包括在来自光源的光已经反射、散射或被吸收离开用户的面部或眼睛之后，每个光源的特征辐射图案。每个光源可以指向用户的瞳孔的预期位置。光源可以包括发光二极管，其发射波长在780nm和1000nm之间的光。光检测器可以包括光电二极管。眼睛跟踪子系统可以包括定位成确定用户的左眼的凝视方向的四个眼睛跟踪组件，以及定位成确定用户的右眼的凝视方向的四个眼睛跟踪组件。偏振器可以包括两个交叉线性偏振器。对于多个眼睛跟踪组件中的每一者，偏振器可以包括位于光源的发光路径中的第一偏振器和位于光检测器的光检测路径中的第二偏振器。偏振器可以包括圆形偏振器或线性偏振器中的至少一种。对于多个眼睛跟踪组件中的每一者，光源可以远离用户眼睛的光轴定位，以提供瞳孔的暗场照明。预测模型可以包括机器学习模型或其它类型的函数或模型(例如，多项式、查找表)。机器学习模型可以包括混合密度网络(MDN)模型。机器学习模型可以包括递归神经网络(RNN)模型。机器学习模型可以利用过去的输入信息或眼睛运动信息来确定凝视方向。机器学习模型可以是在多个HMD系统的现场操作期间训练的模型。HMD系统可以包括至少一个显示器，并且至少一个处理器可以使至少一个显示器呈现用户界面元素；可选择性地使多个眼睛跟踪组件的光源发光；可以接收由多个眼睛跟踪组件的光检测器捕获的光检测信息；并且可以至少部分地基于所接收的光检测信息以及与所接收的光检测信息相关联的已知或推断的凝视方向信息来更新机器学习模型。用户界面元素可以包括静态用户界面元素或移动用户界面元素。HMD系统可以包括至少一个显示器，并且至少一个处理器可以至少部分地基于经确定凝视方向来动态地改变至少一个显示器的渲染输出。HMD系统可以包括瞳孔间距离(IPD)调整部件，并且至少一个处理器可以使IPD调整部件至少部分地基于经确定凝视方向来为用户对准HMD系统的至少一个部件。