[发明专利]一种注视点估计方法、装置、计算机设备和介质

说明书

本申请涉及一种注视点估计方法、装置、计算机设备和存储介质。所述方法包括：通过将人员的凝视图像预处理得到规范化的训练图像后，通过编码‑解码模块将外观特征代码、凝视特征代码和头部姿势代码分离，通过旋转凝视特征代码和头部姿势代码，再根据旋转后的潜在空间特征进行解码，得到与训练图像对应的旋转解码图像，根据多个训练样本的训练图像，旋转解码图像和凝视特征代码，通过元学习得到自适应凝视估计网络及其初始网络权重，再根据待测人员的校准信息对自适应凝视估计网络的初始网络权值权重进行个性化调整，得到特定于人的特定凝视估计网络，由此进行测试图像中注视方向的估计，进而确定注视点信息。本发明适应性好，学习效率高。

技术领域

本申请涉及计算机视觉领域，特别是涉及一种基于外观的注视点估计方法、装置、计算机设备和存储介质。

背景技术

人类视觉系统是一个复杂的认知过程，眼睛注视分析是计算机视觉和人机交互领域的一个重要研究。因此，从眼睛运动中获得的信息有助于理解复杂心理状态的洞察力，包括视觉注意和人类认知。视觉感知对交通安全至关重要，人类通过眼球运动感知环境，视觉是驾驶人获取外界环境信息的主要手段，是驾驶人行为的前提和基础。而注视估计的主要任务是确定瞳孔的视线，一般将视线估计视为3-D空间中的注视方向或2-D/3-D坐标中的注视点，在少数情况下不需要精确的注视位置。但在一些对个体特征敏感、注视点估计结果要求高的场景下，例如对于驾驶员注视估计，需要判断驾驶人在驾驶场景中面临突发驾驶状况或风险来临时能否做出正确决策、驾驶人的视觉感知系统能否及时捕捉到危险或障碍物的场景，或者对于医疗保健待检测人员的注视估计，需要判断待检测人员的注视机能是否正常的场景等，获取精确的注视位置至关重要。然而，从图像中进行高精度的凝视估计是困难的，且现有的注视点估计需要大量训练图片。因此，现有技术存在准确率低、训练效率低的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高注视点估计准确性和训练效率的注视点估计方法、装置、计算机设备和存储介质。

一种注视点估计方法，所述方法包括：

获取人员的凝视图像，对所述凝视图像进行预处理得到训练图像，将所述训练图像输入预先设计的编码-解码网络中；所述编码-解码网络包括编码模块和解码模块；所述训练图像包括人员的注视方向标签；

通过所述编码模块对所述训练图像进行处理，得到所述训练图像的潜在空间代码；所述潜在空间代码包括外观特征代码、凝视特征代码和头部姿势代码；

对所述凝视特征代码和所述头部姿势代码进行显式旋转，根据显式旋转后的潜在空间代码通过所述解码模块得到所述训练图像的旋转解码图像，根据所述训练图像和所述旋转解码图像学习具有旋转意识的潜在凝视特征；所述旋转解码图像中人员的注视方向与所述训练图像不同；

根据多个训练图像、其对应的旋转解码图像，以及对应的潜在凝视特征，通过元学习算法学习得到自适应凝视估计网络及其初始网络权重；

获取待检测人员的校准图像信息，通过所述校准图像信息对所述初始网络权重进行调整，得到特定于待检测人员的特定凝视估计网络；所述校准图像信息包括所述待检测人员的两张标注了不同注视方向的图像；

获取所述待检测人员的测试图像，将所述测试图像输入所述特定凝视估计网络中，激活输出所述测试图像的三维注视方向向量，进而得到所述测试图像中人员的注视点信息。

在其中一个实施例中，还包括：旋转所述凝视图像，使得相机坐标系的x轴垂直于人员头部坐标系的y轴；

对旋转后的图像进行缩放，使得相机位于距离眼睛中心固定的距离处。

在其中一个实施例中，还包括：所述编码模块为解纠缠变换编码器结构。

在其中一个实施例中，还包括：所述自适应凝视估计网络为一个多层感知器；所述多层感知器包括64个隐藏层神经元和SELU激活层。