[发明专利]使用神经网络的眼睛注视跟踪

权利要求书

1.一种注视预测系统,用于处理用户的输入面部图像的集合以生成预测所述用户的注视位置的系统输出，所述注视预测系统包括：

图像采集系统，所述图像采集系统由一个或多个计算机实现并且被配置成：

获得所述用户的一个或多个校准图像、以及针对所述校准图像中的每一个校准图像标记所述用户在该校准图像中的已知注视位置的相应的校准标签，

在获得所述一个或多个校准图像之后，获得所述用户的查询图像，以及

生成神经网络输入，所述神经网络输入包括(i)所述用户的所述查询图像，(ii)所述用户的所述一个或多个校准图像，以及(iii)针对所述一个或多个校准图像的相应的校准标签；以及

神经网络，其中，所述神经网络由所述一个或多个计算机实现并且包括一个或多个神经网络层，并且其中，所述神经网络被配置成在运行时以及在所述神经网络已经被训练之后：

使用所述一个或多个神经网络层处理所述神经网络输入以生成表征所述查询图像中的所述用户的注视位置的神经网络输出，所述神经网络输入包括(i)所述用户的所述查询图像，(ii)所述用户的所述一个或多个校准图像，以及(iii)针对所述一个或多个校准图像的相应的校准标签。

2.根据权利要求1所述的系统，其中，所述注视预测系统在用户设备上实现，其中所述用户设备包括(i)显示屏幕，和(ii)前置相机。

3.根据权利要求2所述的系统，其中，所述图像采集系统使用所述前置相机获得所述用户的所述查询图像。

4.根据权利要求3所述的系统，其中，获得所述用户的所述一个或多个校准图像包括：

确定所述显示屏幕的大小；

将所述显示屏幕划分为多个区域；以及

对于每个区域：

在所述显示屏幕的该区域内的位置显示可视标志；

使用所述前置相机获得图像同时所述可视标志显示在所述显示屏幕的该区域内的该位置。

5.根据权利要求4所述的系统，其中，在所述显示屏幕的该区域内的位置显示可视标志包括根据预定的概率分布来指派该区域内的该位置。

6.根据权利要求4所述的系统，还包括：提取获得的图像的面部区域以获得所述校准图像。

7.根据权利要求6所述的系统，其中，提取获得的图像的面部区域包括选择获得的图像的眼睛区域。

8.根据权利要求4所述的系统，其中，所述图像采集系统被配置成：

确定获得的图像是否有噪声；并且

响应于确定获得的图像有噪声，拒绝获得的图像。

9.根据权利要求2所述的系统，其中，表征所述注视位置的生成的神经网络输出将所述查询图像中的所述用户的所述用户的所述注视位置表征为所述用户设备的所述显示屏幕上的位置。

10.根据权利要求1所述的系统，其中，所述用户的所述一个或多个校准图像包括所述用户的九个校准图像。

11.根据权利要求1所述的系统，其中，所述神经网络包括：

第一神经网络，所述第一神经网络包括一个或多个卷积层；

第二神经网络，所述第二神经网络包括一个或多个完全连接的层；

其中，所述第一神经网络被配置成：

获得所述用户的输入面部图像的集合；

使用所述一个或多个卷积层处理所述用户的输入面部图像的集合以生成第一神经网络输出；并且

将生成的第一神经网络输出提供给所述第二神经网络，

其中，所述第二神经网络被配置成：

接收生成的第一神经网络输出；

使用所述一个或多个完全连接的层处理生成的第一神经网络输出以生成表征所述查询图像中的所述用户的注视位置的所述神经网络系统输出。