[发明专利]一种自适应视线追踪方法、装置、系统及存储介质

说明书

本发明提供了一种自适应视线追踪方法、装置、系统及存储介质。所述自适应视线追踪方法包括：获取待测对象的人脸图像数据；基于所述人脸图像数据得到所述待测对象的左眼图像和/或右眼图像，以及所述待测对象的头部姿态，所述头部姿态包括头部的偏航角、俯仰角和翻滚角；基于所述左眼图像和/或右眼图像和训练好的视线预测模型，得到所述左眼图像和/或右眼图像的视线；根据所述头部姿态和所述左眼图像和/或右眼图像的视线得到所述待测对象的视线。根据本发明的方法、装置、系统及存储介质，充分结合双眼和头部姿态,快速地自适应估计视线,在对硬件低要求的情况下,克服由于头部姿态等带来的问题,提升视线追踪的准确度。

技术领域

本发明涉及图像处理技术领域，更具体地涉及视线追踪的处理。

背景技术

人眼及其运动可以传递很多重要信息，比如人的关注对象,当前的感受等。因此,越来越多的智能系统中开始加入视线追踪的功能，在广告效果监测系统中，可以通过人眼注视点的移动来判断人的偏好；在智能驾驶辅助系统里,可以通过追踪驾驶员的视线及时预警，避免安全事故的发生；在人机交互方面，眼睛也可以取代键盘、鼠标和触屏，彻底解放双手等等。

目前，视线追踪方法主要分为两类，基于模型的和基于外观的。其中，基于模型的方法使用几何眼睛模型，并且可以进一步分为角膜反射和基于形状的方法。角膜反射方法依赖于通过在眼睛的最外层(角膜)上反射外部红外光源而检测到的眼睛特征；基于形状的方法则是从检测到的眼睛形状推断注视方向。尽管基于模型的方法已应用于更实际的场景，但它们的注视估计精度仍然较低，因为它们依赖于准确的眼睛特征检测。而保证这一点需要硬件的支持，要能提供高分辨率的图像和良好的照明条件，这些要求在很大程度上阻碍了这些方法在现实环境或商品设备中的广泛使用。

不同于基于模型的方法,基于外观的方法不依赖于提取的某些特定眼睛特征。作为替代，它们仅利用普通相机获得眼睛外观，然后通过眼睛外观直接学习一个映射函数估计视线。虽然这极大地扩大了适用性，但是人类眼睛外观也会受到图像质量,头部姿势，照明和个体差异等的影响，这导致映射函数很难学习。在现有的这些方法中,他们总是无差别的对待左右眼，通常用全脸或者直接任取一只眼睛作为输入估计视线。而实际上,由于人有不同的头部姿态,采集到的两只眼睛的图像质量也会不同,特别是在人的头部有大角度偏转的情况下,质量更是相差甚远。另外,当前的很多网络为了追求准确度的提高,设计得比较庞大,对硬件要求较高,速度也比较慢.这一点也限制了它们应用到更多的产品中去。

因此，现有技术中的视线估计存在无差别对待双眼，不考虑训练数据集中头部姿态较少带来的影响，对硬件要求高的问题。

发明内容

考虑到上述问题而提出了本发明。本发明提供了一种自适应视线追踪方法、装置、系统及计算机存储介质，充分结合双眼和头部姿态,快速地自适应估计视线,在对硬件低要求的情况下,克服由于头部姿态等带来的问题,提升视线追踪的准确度。

根据本发明的第一方面，提供了一种自适应视线追踪方法，包括：

获取待测对象的人脸图像数据；

基于所述人脸图像数据得到所述待测对象的左眼图像和/或右眼图像，以及所述待测对象的头部姿态，所述头部姿态包括头部的偏航角、俯仰角和翻滚角；

基于所述左眼图像和/或右眼图像和训练好的视线预测模型，得到所述左眼图像和/或右眼图像的视线；

根据所述头部姿态和所述左眼图像和/或右眼图像的视线得到所述待测对象的视线。

根据本发明的第二方面，提供了一种自适应视线追踪装置，包括：

数据获取模块，用于获取待测对象的人脸图像数据；

计算模块，用于基于所述人脸图像数据得到所述待测对象的左眼图像和/或右眼图像，以及所述待测对象的头部姿态，所述头部姿态包括头部的偏航角、俯仰角和翻滚角；