[发明专利]对用于三维(3D)注视预测的神经网络的训练

权利要求书

1.一种非暂时性计算机可读存储介质，其存储指令，一旦在计算机系统上执行，所述指令使得所述计算机系统执行操作，所述操作包括：

访问训练图像，所述训练图像包括第一组训练图像和第二组训练图像，其中，所述第一组训练图像示出与相机的平面中的注视点相关联的用户眼睛，并且其中，所述第二组训练图像示出与所述相机的所述平面之外的注视点相关联的用户眼睛；以及

基于所述训练图像训练神经网络，其中，所述训练包括：

将第一训练图像输入神经网络，其中，所述第一训练图像属于所述第一组训练图像；

将第二训练图像输入所述神经网络，其中，所述第二训练图像属于所述第二组训练图像；

基于注视点和注视线之间的距离而最小化所述神经网络的损失函数，其中，所述注视点与所述第一训练图像或所述第二训练图像中的一者相关联，并且其中，所述注视线是由所述神经网络针对在所述第一训练图像或所述第二训练图像中的所述一者中示出的用户眼睛预测的。

2.根据权利要求1所述的非暂时性计算机可读存储介质，其中，一旦完成训练，所述神经网络基于以用户眼睛为中心的扭曲图像预测：(i)距离校正，(ii)所述用户眼睛的2D注视原点，以及(iii)所述用户眼睛的2D注视方向。

3.根据权利要求1所述的非暂时性计算机可读存储介质，其中，所述第一训练图像示出根据注视角注视所述注视点时的所述用户眼睛，其中，所述第二训练图像示出根据所述注视角注视另一注视点时的所述用户眼睛。

4.根据权利要求1所述的非暂时性计算机可读存储介质，其中，所述第一训练图像和所述第二训练图像示出以注视角注视所述注视点时的所述用户眼睛，其中，所述第一训练图像对应于所述相机和所述用户眼睛之间的第一距离，并且其中，所述第二训练图像对应于所述相机和所述用户眼睛之间的第二距离。

5.根据权利要求1所述的非暂时性计算机可读存储介质，其中，所述第一训练图像示出根据注视角注视所述注视点时的所述用户眼睛，其中，所述第二训练图像示出根据不同的注视角注视另一注视点时的所述用户眼睛。

6.根据权利要求1所述的非暂时性计算机可读存储介质，其中，训练所述神经网络进一步包括：

在训练所述神经网络期间，基于校准参数来更新所述神经网络的参数。

7.根据权利要求6所述的非暂时性计算机可读存储介质，其中，一旦完成训练，将所述校准参数的更新值输入到所述神经网络。

8.一种计算机系统，其包括：

处理器；以及

存储器，所述存储器存储计算机可读指令，一旦由所述处理器执行，所述计算机可读指令将所述计算机系统配置为执行操作，所述操作包括：

访问训练图像，所述训练图像包括第一组训练图像和第二组训练图像，其中，所述第一组训练图像示出与相机的平面中的注视点相关联的用户眼睛，并且其中，所述第二组训练图像示出与所述相机的所述平面之外的注视点相关联的用户眼睛；以及

基于所述训练图像训练神经网络，其中，所述训练包括：

将第一训练图像输入神经网络，其中，所述第一训练图像属于所述第一组训练图像；

将第二训练图像输入所述神经网络，其中，所述第二训练图像属于所述第二组训练图像；

基于注视点和注视线之间的距离而最小化所述神经网络的损失函数，其中，所述注视点与所述第一训练图像或所述第二训练图像中的一者相关联，并且其中，所述注视线是由所述神经网络针对在所述第一训练图像或所述第二训练图像中的所述一者中示出的用户眼睛预测的。

9.根据权利要求8所述的计算机系统，其中，一旦完成训练，所述神经网络基于以用户眼睛为中心的扭曲图像预测：(i)距离校正，(ii)所述用户眼睛的2D注视原点，以及(iii)所述用户眼睛的2D注视方向。