[发明专利]视线跟踪方法及用于执行该方法的用户终端

说明书

本发明提供一种视线跟踪方法及用于执行该方法的用户终端。本发明一实施例涉及的用户终端，其包括：拍摄装置，其用于拍摄用户的人脸图像；以及视线跟踪单元，其基于设定的规则从所述人脸图像中获取指示所述用户的人脸的朝向的矢量及所述用户的瞳孔图像，通过向设定的深度学习模型输入所述人脸图像、所述矢量及所述瞳孔图像跟踪所述用户的视线。

技术领域

本发明涉及视线跟踪技术。

背景技术

视线跟踪(Eye Tracking)作为通过感知用户的眼球活动跟踪视线的位置的技术，可使用影像分析方式、接触透镜方式，附着传感器方式等方法。影像分析方式通过实时分析照相机图像并检测瞳孔的活动，并以角膜上反射的固定位置为基准计算视线的方向。接触透镜方式利用内置镜子的接触透镜的反射光，或者内置线圈的接触透镜的磁场等，其便利性下降，但准确度高。附着传感器方式通过在眼睛周围附着传感器，利用基于眼睛活动带来的电场的变化感知眼球的活动，当闭上眼睛时(睡眠等)也能检测出眼球活动。

最近，采用视线跟踪技术的设备及应用领域正在逐渐扩大，由此在如智能手机等终端上提供广告服务的过程中应用所述视线跟踪技术的尝试逐渐增加。但是，为了有效地提供广告服务，需要提高视线跟踪的准确度，有必要有效地组合基于广告收视的绑定(bidding)方式、奖励(reward)方式等。

现有技术文献

专利文献

韩国授权专利公报第10-1479471号(2015.01.13)

发明内容

发明要解决的问题

本发明的实施例是用于提供一种基于深度学习模型的视线跟踪时可提高视线跟踪的准确度的手段。

用于解决问题的技术方案

根据本发明例示的实施例，提供一种用户终端，其包括：拍摄装置，其用于拍摄用户的人脸图像；以及视线跟踪单元，其基于设定的规则(rule)从所述人脸图像中获取指示所述用户的人脸的朝向的矢量及所述用户的瞳孔图像，通过向设定的深度学习模型输入所述人脸图像、所述矢量及所述瞳孔图像跟踪所述用户的视线。

所述用户终端还可包括学习数据收集单元，当从注视屏幕内设定的点的注视者接收到设定的动作时，所述学习数据收集单元收集学习数据，所述学习数据包括在接收所述动作的时间点拍摄的所述注视者的人脸图像及所述设定的点的位置信息，所述视线跟踪单元使所述深度学习模型学习所述学习数据，且可利用学习所述学习数据后的所述深度学习模型跟踪所述用户的视线。

当所述注视者触碰所述点时，所述学习数据收集单元可在发生所述触碰的时间点收集所述学习数据。

所述学习数据收集单元在所述注视者触碰所述点的时间点驱动所述拍摄装置并可收集所述学习数据。

所述学习数据收集单元可将在所述注视者触碰所述点的时间点收集的所述学习数据发送到服务器。

所述学习数据收集单元在所述拍摄装置运行的状态下，当所述注视者触碰所述点时，在发生所述触碰的时间点及在发生所述触碰的时间点之前和之后设定的时间间隔的时间点可分别收集所述学习数据。

所述学习数据收集单元在所述注视者触碰所述点以后可改变所述点的视觉要素以使所述注视者的视线在所述触碰以后仍停留在所述点。

所述学习数据收集单元在所述点上显示设定的语句，并当所述注视者发出声音时，在发声的起始时间点可收集所述学习数据。

所述视线跟踪单元基于所述规则从所述人脸图像中获取所述用户的瞳孔位置坐标及人脸位置坐标，并连同指示所述用户的人脸的朝向的矢量一起，还可将所述瞳孔位置坐标及所述人脸位置坐标输入所述深度学习模型。