[发明专利]视线追踪模型训练的方法、视线追踪的方法及装置

说明书

本申请公开了一种视线追踪模型训练的方法，包括：获取训练样本集合，通过初始视线追踪模型对眼部样本图像进行处理，以得到眼部样本图像的预测视线向量，对预测视线向量和标注视线向量的损失函数取余弦，以确定预测视线向量和标注视线向量的相似度，对初始视线追踪模型的参考参数进行迭代调整直到相似度满足收敛条件，以得到目标视线追踪模型。本申请提供的方案采用对预测值和标注值之间的损失函数取余弦的方案，可以更好的表示预测值与标注值之间的差异性，可以确保得到的视线追踪模型的预测准确度更高。

技术领域

本申请涉及人工智能技术领域，具体涉及一种视线追踪模型训练的方法、视线追踪的方法、装置、设备及存储介质。

背景技术

视觉追踪技术也称为眼动追踪技术，是利用软件算法、机械、电子、光学等各种检测手段获取受试者当前视觉注意方向的技术，它广泛应用于人机交互、辅助驾驶、心理研究、虚拟现实和军事等多个领域。

现有的视线估计方法主要分为两大类：几何方法与监督学习方法。几何方法往往需要借助外设，基于摄像机或眼动仪，通过双光源来对视线做三维估计。监督学习方法通过训练模型得到图像的特征，用学习到的特征向量来估计视线向量。

现有的几何方法通常过于复杂，而现有的监督学习方法的视线特征往往表现力不够强，使用的损失函数不够合理导致在预测时受图片质量影响较为严重。

发明内容

本申请实施例提供一种视线追踪模型训练的方法，采用对预测值和标注值之间的损失函数取余弦的方案，可以更好的表示预测值与标注值之间的差异性，可以确保得到的视线追踪模型的预测准确度更高。本申请实施例还提高了相应的装置、设备及存储介质。

本申请第一方面提供一种视线追踪模型训练的方法，包括：

获取训练样本集合，所述训练样本集合包括多个训练样本对，其中，每个训练样本对都包括眼部样本图像和所述眼部样本图像对应的标注视线向量；

通过初始视线追踪模型对所述眼部样本图像进行处理，以得到所述眼部样本图像的预测视线向量；

对所述预测视线向量和所述标注视线向量的损失函数取余弦，以确定所述预测视线向量和所述标注视线向量的相似度；

对所述初始视线追踪模型的参考参数进行迭代调整直到所述相似度满足收敛条件，以得到目标视线追踪模型。

本申请第二方面提供一种视线追踪的方法，包括：

获取目标眼部图像；

采用目标视线追踪模型对所述目标眼部图像进行处理，以确定所述目标眼部图像的预测视线向量，所述目标视线追踪模型为采用上述第一方面所述的方法训练得到的视线追踪模型；

根据所述预测视线向量进行视线追踪。

本申请第三方面提供一种视线追踪模型训练的装置，包括：

获取模块，用于获取训练样本集合，所述训练样本集合包括多个训练样本对，其中，每个训练样本对都包括眼部样本图像和所述眼部样本图像对应的标注视线向量；

训练模块，用于通过初始视线追踪模型对所述获取模块获取的所述眼部样本图像进行处理，以得到所述眼部样本图像的预测视线向量；

第一处理模块，用于对所述训练模块得到的预测视线向量和所述标注视线向量的损失函数取余弦，以确定所述预测视线向量和所述标注视线向量的相似度；

第二处理模块，用于对所述初始视线追踪模型的参考参数进行迭代调整直到所述第一处理模块处理得到的相似度满足收敛条件，以得到目标视线追踪模型。

结合第三方面，在第一种可能的实现方式中，所述样本对还包括眼部样本图像中眼球的标注坐标；