[发明专利]基于注意力机制的多特征融合视线估计方法

说明书

本发明请求保护一种基于注意力机制的多特征融合视线估计方法，该方法包括利用MTCNN算法对人脸和人脸关键点进行检测，从而获得视线估计所需的人脸和眼睛图片；利用基于组卷积通道和空间注意力机制的人脸和眼睛特征提取器，选择并增强人脸及双眼图片中的重要特征，并抑制与视线估计无关的信息；利用双眼特征融合网络和眼瞳特征融合网络，将双眼及瞳孔中心位置特征进行融合，并与人脸特征向量进行拼接以实现多特征融合，从而避免双眼非对称性及头部姿态估计不准确对视线估计的影响。通过在公开数据集MPIIGaze及EyeDiap上进行验证，并与当前主流的视线估计方法进行比较，本发明提出的视线估计方法具有更小的平均角误差，有效提高了自然场景中视线估计的精度和鲁棒性。

技术领域

本发明属于图像处理与模式识别领域，特别是一种基于注意力机制的多特征融合视线估计方法。

背景技术

视线反映了人类的视觉注意力，可以通过视线来研究人们的意图，并理解社会互动，因此准确估计视线成为计算机视觉中一个重要的研究课题，在人机交互、显著性检测和汽车驾驶等方面应用广泛。

视线估计是检测视线方向、定位注视点位置的过程。视线估计方法主要分为两类：基于模型和基于外观的方法。基于模型的方法主要通过提取角膜表面和瞳孔中心的红外反射点来估计视线方向。该类方法通常可以准确地估计视线方向，但对光照及硬件条件要求较高，在室外环境下精度较低。基于外观的方法可以在不明确眼球特征的情况下，通过学习从眼睛外观到注视方向的映射函数来完成视线估计。但当头部姿态、光照、个体差异等引起眼睛外观发生变化时，学习这种映射函数具有极大的挑战性，因此基于外观的视线估计方法需要引入大型、多样化的训练数据集。近年来，卷积神经网络已经被证明能够在大规模和多样性的训练数据下学习非常复杂的映射函数，因此广泛应用于视线估计及相关领域。

基于卷积神经网络的视线估计通常使用简单的眼睛图像作为输入，来完成一系列的交互相关任务。然而最近的研究表明，除了双眼之外，脸部的其他区域也存在有价值的视线估计信息。同时，自然场景中多变的头部姿态及低质量的眼睛图片会导致视线估计的精度较低。

发明内容

为了解决上述问题，本发明提出了一种基于注意力机制的多特征融合视线估计方法。在所设计的模型中，将人脸及双眼图片作为输入，以获得更多与视线估计相关的特征；提出了基于组卷积通道和空间注意力机制的人脸和眼睛特征提取器，利用通道和空间信息自适应地选择并增强人脸及双眼图片中的重要特征，并抑制与视线估计无关的信息；提出多特征融合思想，利用特征融合网络将人脸、双眼及瞳孔中心位置特征进行融合，从而提高自然场景中视线估计的精度和鲁棒性。

鉴于此，本发明采用的技术方案如下：

S1，利用多任务级联卷积神经网络(MTCNN)算法对原始图片进行人脸检测及人脸关键点定位，根据人眼关键点对人脸图片进行裁剪，最终得到视线估计所需的人脸和眼睛图片。

S2，利用基于组卷积通道和空间注意力机制的人脸特征提取器提取头部姿态特征，以及除眼睛外其他与视线估计相关的面部特征。

S3，利用基于组卷积通道和空间注意力机制的眼睛特征提取器提取双眼的眼球姿态特征。

S4，利用特征融合网络将双眼及瞳孔中心位置特征进行融合，并将融合后的特征与人脸特征向量进行拼接以实现多特征融合，最后完成视线估计任务。

进一步，上述获得人脸和眼睛图片，包括根据人眼关键点对人脸图片进行裁剪以获得眼睛图片，视线估计所需人脸及双眼图片的尺寸为224×224×3，其中224×224表示人脸和双眼图片的大小，3表示RGB图像的通道数。

进一步，上述组卷积通道和空间注意力机制包括组卷积通道注意力模块和空间注意力模块，所述组卷积通道注意力模块由两个组卷积模块及一个全局平均池化模块组成，所述空间注意力模块的输入为中间特征图F与组卷积通道注意力图逐元素相乘得到的特征图。其中，组卷积通道注意力图的计算公式为：