[发明专利]一种基于混合注意力机制的单眼注视点估计方法及系统

权利要求书

1.一种基于混合注意力机制的单眼注视点估计方法，其特征在于，包括：

获取目标人脸图像信息；所述目标人脸图像信息包括目标人脸图像、目标单眼图像以及所述目标单眼图像中的眼睛在所述目标人脸图像上的位置信息；

基于所述目标人脸图像信息和单眼注视点估计模型，确定所述目标人脸图像对应的单眼注视点预测信息；

所述单眼注视点估计模型是基于混合注意力机制的卷积神经网络确定的；

所述基于混合注意力机制的卷积神经网络包括第一卷积、第二卷积和全连接层；所述全连接层的第一输入端与所述第一卷积的输出端连接；所述全连接层的第二输入端与所述第二卷积的输出端连接；

在预测阶段，所述第一卷积的输入端用于输入所述目标单眼图像；所述第二卷积的输入端用于输入所述目标人脸图像；所述全连接层的第三输入端用于输入所述目标单眼图像中的眼睛在所述目标人脸图像上的位置信息；所述全连接层的输出端用于输出所述目标人脸图像对应的单眼注视点预测信息；

所述第一卷积的网络结构与所述第二卷积的网络结构相同；所述第一卷积和所述第二卷积均包括多个且依次连接的卷积注意力单元；其中，按照数据流传输方向，所述卷积注意力单元包括依次连接的卷积层、通道注意力子单元和空间注意力子单元。

2.根据权利要求1所述的一种基于混合注意力机制的单眼注视点估计方法，其特征在于，所述获取目标人脸图像信息，具体包括：

对从目标人脸图像中截取的单眼图像进行尺寸调整，得到目标单眼图像；所述目标单眼图像的尺寸与所述目标人脸图像的尺寸相同；

基于所述目标单眼图像和所述目标人脸图像，计算所述目标单眼图像中的眼睛在所述目标人脸图像上的位置信息。

3.根据权利要求1所述的一种基于混合注意力机制的单眼注视点估计方法，其特征在于，所述基于所述目标人脸图像信息和单眼注视点估计模型，确定所述目标人脸图像对应的单眼注视点预测信息，具体包括：

当所述目标单眼图像为左眼图像时，基于所述目标人脸图像信息和单眼注视点估计模型，确定所述目标人脸图像对应的左眼注视点预测信息；

当所述目标单眼图像为右眼图像时，基于所述目标人脸图像信息和单眼注视点估计模型，确定所述目标人脸图像对应的右眼注视点预测信息。

4.根据权利要求1所述的一种基于混合注意力机制的单眼注视点估计方法，其特征在于，所述单眼注视点估计模型的确定过程为：

构建样本数据集；

构建基于混合注意力机制的卷积神经网络；

基于所述样本数据集以及基于混合注意力机制的卷积神经网络，确定单眼注视点估计模型；

所述样本数据集包括多个样本；每一样本包括样本人脸图像、样本单眼图像、所述样本单眼图像在所述样本人脸图像的位置信息、以及所述样本人脸图像对应的单眼注视点标注信息；所述样本单眼图像为对从所述样本人脸图像中截取的单眼图像进行尺寸调整后的图像；所述样本单眼图像的尺寸与所述样本人脸图像的尺寸相同；

在训练阶段，所述第一卷积的输入端用于输入所述样本单眼图像；所述第二卷积的输入端用于输入所述样本人脸图像；所述全连接层的第三输入端用于输入所述样本标单眼图像中的眼睛在所述样本人脸图像上的位置信息；所述全连接层的输出端用于输出所述样本人脸图像对应的单眼注视点预测信息；

其中，标记样本人脸图像对应的单眼注视点标注信息和所述标记样本人脸图像对应的单眼注视点预测信息用于调节基于混合注意力机制的卷积神经网络的参数；所述标记样本人脸图像为任一所述样本人脸图像。