[发明专利]视线估计方法、装置、设备及存储介质

权利要求书

1.一种视线估计方法，其特征在于，包括：

获取对象的眼部图像；

基于所述眼部图像以及所述对象的眼部的至少一张参考图像，确定所述眼部图像上的眼睛与各参考图像上的眼睛的视线方向的差值，以及各参考图像对所述眼部图像的视线估计值的影响权重，所述参考图像上包括所述参考图像上的眼睛的视线方向的标记信息；

基于所述眼部图像上的眼睛与各参考图像上的眼睛的视线方向的差值、各参考图像对所述眼部图像的视线估计值的影响权重，以及各参考图像上的所述标记信息，确定所述眼部图像上的眼睛的视线方向；

所述基于所述眼部图像以及所述对象的眼部的至少一张参考图像，确定所述眼部图像上的眼睛与各参考图像上的眼睛的视线方向的差值，以及各参考图像对所述眼部图像的视线估计值的影响权重，包括：

对所述眼部图像和所述至少一张参考图像进行处理，分别得到所述眼部图像和所述至少一张参考图像的特征图；

对所述眼部图像和所述至少一张参考图像的特征图进行处理，得到所述眼部图像上的眼睛与各参考图像上的眼睛的视线方向的差值，以及各参考图像对所述眼部图像的视线估计值的影响权重。

2.根据权利要求1所述的方法，其特征在于，所述获取对象的眼部图像之前，所述方法还包括：

响应于接收到拍摄指令，向所述对象提供拍摄界面，所述拍摄界面上包括用于提示视线方向的提示信息；

基于所述拍摄界面得到所述对象的眼部拍摄图像；

将所述提示信息提示的视线方向标记在所述眼部拍摄图像上，生成所述对象眼部的参考图像。

3.根据权利要求1所述的方法，其特征在于，所述对所述眼部图像和所述至少一张参考图像的特征图进行处理，得到所述眼部图像上的眼睛与各参考图像上的眼睛的视线方向的差值，以及各参考图像对所述眼部图像的视线估计值的影响权重，包括：

针对每个参考图像，对所述参考图像和所述眼部图像的特征图进行拼接处理，得到拼接图像；

对所述拼接图像进行线性变换处理，得到所述拼接图像上的眼部特征；

基于第一网络对所述眼部特征进行处理，得到所述眼部图像上的眼睛与所述参考图像上的眼睛的视线方向的差值；

基于第二网络对所述眼部特征进行处理，得到所述参考图像对所述眼部图像的视线估计值的影响权重。

4.根据权利要求1或2所述的方法，其特征在于，所述基于所述眼部图像上的眼睛与各参考图像上的眼睛的视线方向的差值、各参考图像对所述眼部图像的视线估计值的影响权重，以及各参考图像上的所述标记信息，确定得到所述眼部图像上的眼睛的视线方向，包括：

基于所述眼部图像上的眼睛与各参考图像上的眼睛的视线方向的差值，以及各参考图像上的所述标记信息，确定所述眼部图像相对于各参考图像的视线估计值；

基于所述各参考图像对所述眼部图像的视线估计值的影响权重，以及所述眼部图像相对于各参考图像的视线估计值，确定所述眼部图像上的眼睛的视线方向。

5.根据权利要求4所述的方法，其特征在于，所述基于所述眼部图像上的眼睛与各参考图像上的眼睛的视线方向的差值，以及各参考图像上的所述标记信息，确定所述眼部图像相对于各参考图像的视线估计值，包括：

对于每个参考图像，对所述参考图像上标记的视线方向以及所述眼部图像上的眼睛与所述参考图像上的眼睛的视线方向的差值进行求和处理，得到所述眼部图像相对于所述参考图像的视线估计值。

6.根据权利要求4所述的方法，其特征在于，所述基于所述各参考图像对所述眼部图像的视线估计值的影响权重，以及所述眼部图像相对于各参考图像的视线估计值，确定得到所述眼部图像上的眼睛的视线方向，包括：

针对每个参考图像，基于所述参考图像对所述眼部图像的视线估计值的影响权重，对所述眼部图像相对于所述参考图像的视线估计值进行加权处理，得到所述眼部图像相对于所述参考图像的视线估计值的加权值；

对所述眼部图像相对于各参考图像的视线估计值的加权值进行求和处理，得到所述眼部图像上的眼睛的视线方向。