[发明专利]用于三维(3D)注视预测的深度学习

权利要求书

1.一种计算机实施的方法，用于检测三维(3D)注视，所述计算机实施的方法包括：

由眼睛跟踪系统基于二维(2D)图像从所述2D图像产生以用户眼睛为中心的扭曲图像，其中，所述2D图像由与所述眼睛跟踪系统相关联的相机产生；

由所述眼睛跟踪系统将所述扭曲图像输入到神经网络，其中，所述神经网络基于所述扭曲图像预测距离校正、所述用户眼睛在所述扭曲图像中的2D注视原点以及所述用户眼睛在所述扭曲图像中的2D注视方向；

由所述眼睛跟踪系统至少通过基于所述距离校正更新估算距离来产生所述用户眼睛和所述相机之间的校正距离；以及

由所述眼睛跟踪系统基于所述2D注视原点、所述2D注视方向和所述校正距离来产生所述用户眼睛的3D注视信息。

2.根据权利要求1所述的计算机实施的方法，所述方法进一步包括：

由所述眼睛跟踪系统基于所述2D图像来确定所述相机和所述用户眼睛之间的所述估算距离；以及

由所述眼睛跟踪系统基于所述校正距离和所述相机在3D空间中的位置来估算所述用户眼睛在所述3D空间中的位置，其中所述3D注视信息包括所述用户眼睛在所述3D空间中的所述位置。

3.根据权利要求2所述的计算机实施的方法，所述方法进一步包括：

由所述眼睛跟踪系统基于所述2D注视原点和所述2D注视方向来估算从所述用户眼睛在所述3D空间中的所述位置起始的3D注视方向，其中所述3D注视信息包括所述3D注视方向。

4.根据权利要求1所述的计算机实施的方法，其中，产生所述扭曲图像包括归一化所述2D图像以产生归一化图像以及围绕所述用户眼睛裁剪所述归一化图像以产生所述扭曲图像。

5.根据权利要求1所述的计算机实施的方法，其中，所述2D图像进一步示出第二用户眼睛和用户脸部，并且所述方法进一步包括：

由所述眼睛跟踪系统从所述2D图像产生围绕所述第二用户眼睛的第二扭曲图像；

由所述眼睛跟踪系统从所述2D图像产生围绕所述用户脸部的第三扭曲图像；以及

由所述眼睛跟踪系统将所述第二扭曲图像和所述第三扭曲图像输入至所述神经网络，其中，所述神经网络进一步基于所述第二扭曲图像和所述第三扭曲图像预测所述距离校正。

6.根据权利要求5所述的计算机实施的方法，所述方法进一步包括：

由所述眼睛跟踪系统基于所述校正距离来产生所述第二用户眼睛在所述3D空间中的第二位置以及从所述3D空间中的所述第二位置起始的第二注视方向，并且其中，所述3D注视信息包括所述第二位置和所述第二注视方向。

7.根据权利要求6所述的计算机实施的方法，其中，所述第二扭曲图像是围绕所述第二用户眼睛的镜像化图像。

8.根据权利要求5所述的计算机实施的方法，其中，所述扭曲图像和所述第二扭曲图像以第一图像分辨率产生，并且其中，所述第三扭曲图像以比所述第一图像分辨率低的第二图像分辨率产生，其中，所述第二图像分辨率比所述第一图像分辨率低，其中，所述第一图像分辨率基于第一预定义距离，所述第一预定义距离与在3D注视空间中投影所述扭曲图像和所述第二扭曲图像相关联，并且其中，所述第二图像分辨率基于第二预定义距离，所述第二预定义距离与在所述3D注视空间中投影所述第三扭曲图像相关联。

9.根据权利要求5所述的计算机实施的方法，其中，所述神经网络基于所述扭曲图像和所述第二扭曲图像进一步预测所述第二用户眼睛在所述第二扭曲图像中的第二2D注视原点和第二2D注视方向。

10.根据权利要求5所述的计算机实施的方法，其中，所述神经网络基于所述第二扭曲图像并且独立于所述扭曲图像进一步预测所述第二用户眼睛在所述第二扭曲图像中的第二2D注视原点和第二2D注视方向。