[发明专利]视线方向确定方法、装置、电子设备及存储介质

权利要求书

1.一种视线方向确定方法，其特征在于，包括：

获取目标对象的人脸图像和人眼图像；

在所述人脸图像中提取所述目标对象的面部特征；

根据所述目标对象的面部特征和所述人眼图像确定所述目标对象的眼睛特征；

基于所述面部特征预测所述目标对象的初始视线方向，以及，基于由所述面部特征和所述眼睛特征融合后的特征，预测得到视线残差信息；所述视线残差信息用于表征目标对象的实际视线方向与初始视线方向之间的差异信息；

基于所述视线残差信息对所述初始视线方向进行修正，得到所述目标对象的视线方向。

2.根据权利要求1所述的视线方向确定方法，其特征在于，所述人眼图像包括左眼图像和右眼图像，所述根据所述目标对象的面部特征和所述人眼图像确定所述目标对象的眼睛特征，包括：

在所述左眼图像中提取左眼特征；

在所述右眼图像中提取右眼特征；

根据所述面部特征、所述左眼特征和所述右眼特征，确定所述左眼特征对应的第一权重和所述右眼特征对应的第二权重；

基于所述第一权重以及所述第二权重，对所述左眼特征和所述右眼特征进行加权求和，得到所述眼睛特征。

3.根据权利要求2所述的视线方向确定方法，其特征在于，所述根据所述面部特征、所述左眼特征和所述右眼特征，确定所述左眼特征对应的第一权重和所述右眼特征对应的第二权重，包括：

根据所述面部特征和所述左眼特征确定所述左眼特征的第一分值，以及，根据所述面部特征和所述右眼特征确定所述右眼特征的第二分值；

基于所述第一分值和第二分值，确定所述第一权重和第二权重。

4.根据权利要求1至3任一所述的视线方向确定方法，其特征在于，所述基于所述面部特征预测所述目标对象的初始视线方向，包括：

确定所述面部特征中各个特征点的权重，并基于所述面部特征中各个特征点的权重，对所述面部特征进行调整；

根据调整后的面部特征确定所述目标对象的初始视线方向。

5.根据权利要求4所述的视线方向确定方法，其特征在于，按照以下方式基于所述面部特征和所述眼睛特征，确定所述融合后的特征，包括：

根据所述调整后的面部特征、所述眼睛特征、以及调整后的面部特征中各个特征点的权重确定中间特征；

基于所述中间特征、所述调整后的面部特征，以及所述中间特征和所述调整后的面部特征分别对应的权重，对所述中间特征和所述调整后的面部特征进行加权求和，得到所述融合后的特征。

6.根据权利要求5所述的视线方向确定方法，其特征在于，根据以下步骤确定调整后的面部特征中各个特征点的权重：

根据所述眼睛特征和所述调整后的面部特征确定调整后的面部特征中各个特征点的权重。

7.根据权利要求5所述的视线方向确定方法，其特征在于，根据以下步骤确定所述中间特征和所述调整后的面部特征分别对应的权重：

根据所述眼睛特征和所述调整后的面部特征确定所述中间特征和所述调整后的面部特征分别对应的权重。

8.根据权利要求1至7任一所述的视线方向确定方法，其特征在于，

所述视线方向确定方法由神经网络实现，所述神经网络利用包含了目标样本对象的标注视线方向的样本图像训练得到。