[发明专利]视线估计方法及装置

说明书

本发明提供一种视线估计方法及装置，涉及自动驾驶技术领域，该方法包括：获取人脸图像及人脸图像中的眼睛图像；将所述人脸图像和眼睛图像输入至预设的视线估计模型，得到所述视线估计模型输出的第一视线和第二视线；根据所述第一视线和所述第二视线确定视线估计结果，其中，所述视线估计模型是以人脸样本图像和眼睛样本图像为输入，与人脸样本图像和眼睛样本图像对应的样本视线为标签训练得到的。本发明不仅仅采用眼睛图像来估计视线，而是结合了人脸图像和眼睛图像共同估计视线，由于人脸特征的辅助，解决了受眼部周围光环境影响很难准确地估计视线的问题，达到了更准确的估计效果。

技术领域

本发明涉及自动驾驶技术领域，尤其涉及一种视线估计方法及装置。

背景技术

长期以来，视线估计一直被认为是一个重要的研究课题，因为它具有各种有前途的现实世界应用，例如：基于注视的界面、虚拟现实中的中心点渲染、行为分析和人机交互等。在驾驶员监测系统(Driver Monitor System，DMS)系统中，视线估计对于判断驾驶员注意力是否分散有着重要作用，而且视线通常采用视角来表征，分为pitch(俯仰角，即上下方向角度)以及yaw(偏移角，即左右方向角度)。

目前，DMS系统中，通过眼睛图像训练视线估计模型，该模型仅根据眼部特征输出视线，即输出相应的俯仰角和偏移角，但驾驶舱内往往由于光线等复杂环境或者摄像头素质等问题，常常因为驾驶员眼睛周围光环境突然变换，例如：阳光直射眼睛周围，导致摄像头无法采集到清晰的眼睛图像，因此很难准确地估计驾驶员的视线。

发明内容

本发明提供一种视线估计方法及装置，用以解决现有技术中仅通过人眼估计视线时，受眼部周围光环境影响很难准确地估计视线的问题。

本发明提供一种视线估计方法，包括：

获取人脸图像及人脸图像中的眼睛图像；

将所述人脸图像和眼睛图像输入至预设的视线估计模型，得到所述视线估计模型输出的第一视线和第二视线；

根据所述第一视线和所述第二视线确定视线估计结果，

其中，所述视线估计模型是以人脸样本图像和眼睛样本图像为输入，与人脸样本图像和眼睛样本图像对应的样本视线为标签训练得到的，

所述视线估计模型用于分别提取所述人脸图像和眼睛图像的人脸特征和眼部特征，根据由所述人脸特征和眼部特征组成的两种融合特征分别估计所述第一视线和所述第二视线。

根据本发明提供的一种视线估计方法，所述视线估计模型包括：第一估计子模型和第二估计子模型，所述将人脸图像和眼睛图像输入至预设的视线估计模型，得到所述视线估计模型输出的第一视线和第二视线，包括：

将所述人脸图像输入第一估计子模型，以提取人脸特征，将眼睛图像输入第二估计子模型，以提取眼部特征；

所述第一估计子模型获取所述眼部特征，与所述人脸特征融合以形成第一融合特征，所述第二估计子模型获取所述人脸特征，与所述眼部特征融合，以形成所述第二融合特征；

所述第一估计子模型根据所述第一融合特征输出所述第一视线，所述第二估计子模型根据所述第二融合特征输出所述第二视线。

根据本发明提供的一种视线估计方法，所述第一融合特征为：将人脸特征和眼部特征通过加运算融合。

根据本发明提供的一种视线估计方法，所述第二融合特征为：将人脸特征和眼部特征通过乘运算融合。

根据本发明提供的一种视线估计方法，在将人脸图像和眼睛图像输入至预设的视线估计模型之前，还包括：训练所述视线估计模型，训练过程如下：

将所述人脸样本图像和眼睛样本图像分别且同时输入第一估计子模型和第二估计子模型；