[发明专利]视线跟踪方法及用于执行该方法的用户终端

权利要求书

1.一种用户终端，其中，包括：

拍摄装置，其用于拍摄用户的人脸图像；以及

视线跟踪单元，其基于设定的规则从所述人脸图像中获取指示所述用户的人脸的朝向的矢量及所述用户的瞳孔图像，通过向设定的深度学习模型输入所述人脸图像、所述矢量及所述瞳孔图像来跟踪所述用户的视线。

2.如权利要求1所述的用户终端，其中，

还包括学习数据收集单元，当从注视屏幕内设定的点的注视者接收到设定的动作时，所述学习数据收集单元收集学习数据，所述学习数据包括在接收所述动作的时间点拍摄的所述注视者的人脸图像及所述设定的点的位置信息，

所述视线跟踪单元使所述深度学习模型学习所述学习数据，利用学习所述学习数据后的所述深度学习模型跟踪所述用户的视线。

3.如权利要求2所述的用户终端，其中，

当所述注视者触碰所述点时，所述学习数据收集单元在发生所述触碰的时间点收集所述学习数据。

4.如权利要求3所述的用户终端，其中，

所述学习数据收集单元在所述注视者触碰所述点的时间点驱动所述拍摄装置并收集所述学习数据。

5.如权利要求3所述的用户终端，其中，

所述学习数据收集单元将在所述注视者触碰所述点的时间点收集的所述学习数据发送到服务器。

6.如权利要求3所述的用户终端，其中，

所述学习数据收集单元在所述拍摄装置运行的状态下，当所述注视者触碰所述点时，在发生所述触碰的时间点及在发生所述触碰的时间点之前和之后设定的时间间隔的时间点分别收集所述学习数据。

7.如权利要求3所述的用户终端，其中，

所述学习数据收集单元在所述注视者触碰所述点以后改变所述点的视觉要素以使所述注视者的视线在所述触碰以后仍停留在所述点上。

8.如权利要求2所述的用户终端，其中，

所述学习数据收集单元在所述点上显示设定的语句，并当所述注视者发出声音时，在发声的起始时间点收集所述学习数据。

9.如权利要求1所述的用户终端，其中，

所述视线跟踪单元基于所述规则从所述人脸图像中获取所述用户的瞳孔位置坐标及人脸位置坐标，并连同指示所述用户的人脸朝向的矢量一起，还将所述瞳孔位置坐标及所述人脸位置坐标输入所述深度学习模型。

10.如权利要求1所述的用户终端，其中，

还包括用于在所述屏幕上显示广告内容的内容提供单元，

所述视线跟踪单元基于检测出的所述用户的视线和所述屏幕内所述广告内容的位置，判断所述用户是否注视所述广告内容，

所述内容提供单元通过考虑所述屏幕内所述广告内容的位置及所述用户注视所述广告内容的时间，来改变所述屏幕内所述广告内容的位置。

11.一种视线跟踪方法，其中，包括：

在拍摄装置中，拍摄用户的人脸图像的步骤；

在视线跟踪单元中，基于设定的规则从所述人脸图像中获取指示所述用户的人脸朝向的矢量及所述用户的瞳孔图像的步骤；以及

在所述视线跟踪单元中，通过向设定的深度学习模型输入所述人脸图像、所述矢量及所述瞳孔图像来跟踪所述用户的视线的步骤。

12.如权利要求11所述的视线跟踪方法，其中，还包括：

在学习数据收集单元中，当从注视屏幕内设定的点的注视者接收到设定的动作时，收集包括在接收到所述动作的时间点拍摄的所述注视者的人脸图像及所述设定的点的位置信息的学习数据的步骤；以及

在所述视线跟踪单元中，使所述深度学习模型学习所述学习数据的步骤，

所述跟踪用户的视线的步骤利用学习所述学习数据的所述深度学习模型跟踪所述用户的视线。