[发明专利]一种自适应视线追踪方法、装置、系统及存储介质

权利要求书

1.一种自适应视线追踪方法，其特征在于，所述方法包括：

获取待测对象的人脸图像数据；

基于所述人脸图像数据得到所述待测对象的左眼图像和/或右眼图像，以及所述待测对象的头部姿态，所述头部姿态包括头部的偏航角、俯仰角和翻滚角；

基于所述左眼图像和/或右眼图像和训练好的视线预测模型，得到所述左眼图像和/或右眼图像的视线；

根据所述头部姿态和所述左眼图像和/或右眼图像的视线得到所述待测对象的视线，包括基于所述头部的偏航角选择所述左眼图像和/或右眼图像的视线确定所述待测对象的视线。

2.如权利要求1所述的方法，其特征在于，所述基于所述左眼图像和/或右眼图像和训练好的视线预测模型，得到所述左眼图像和/或右眼图像的视线，包括：

基于所述头部的翻滚角对所述左眼图像和/或右眼图像进行变换；

将变换后的所述左眼图像和/或右眼图像输入训练好的视线预测模型，得到所述左眼图像和/或右眼图像的视线。

3.如权利要求2所述的方法，其特征在于，所述基于所述头部姿态的翻滚角对所述左眼图像和/或右眼图像进行变换，包括：

当所述头部的翻滚角小于或等于第一阈值时，不对所述左眼图像和/或右眼图像进行变换；

当所述头部的翻滚角大于第一阈值时，对所述左眼图像和/或右眼图像进行仿射变换使所述左眼图像和/或右眼图像转正。

4.如权利要求3所述的方法，其特征在于，所述将变换后的所述左眼图像和/或右眼图像输入训练好的视线预测模型，得到所述左眼图像和/或右眼图像的视线，包括：

所述将变换后的所述左眼图像和/或右眼图像输入训练好的视线预测模型，得到变换后的左眼图像和/或右眼图像的视线；

根据所述头部的翻滚角的相反数，将所述变换后的左眼图像和/或右眼图像的视线变换得到所述左眼图像和/或右眼图像的视线。

5.如权利要求1-4中任一项所述的方法，其特征在于，根据所述头部姿态和所述左眼图像和/或右眼图像的视线得到所述待测对象的视线，包括：

当所述头部的偏航角小于或等于第二阈值时，根据所述左眼图像的视线确定所述待测对象的视线；

当所述头部的偏航角大于第二阈值且小于或等于第三阈值时，根据所述左眼图像和右眼图像的视线确定所述待测对象的视线；

当所述头部的偏航角大于第三阈值时，根据所述右眼图像的视线确定所述待测对象的视线；

或，

当所述头部的偏航角大于或等于第二阈值时，根据所述右眼图像的视线确定所述待测对象的视线；

当所述头部的偏航角小于第二阈值且大于或等于第四阈值时，根据所述左眼图像和右眼图像的视线确定所述待测对象的视线；

当所述头部的偏航角小于第四阈值时，根据所述左眼图像的视线确定所述待测对象的视线。

6.如权利要求5所述的方法，其特征在于，所述根据所述左眼图像和右眼图像的视线确定所述待测对象的视线，包括：

将所述左眼图像的视线投影到右眼视线平面得到所述待测对象的视线，其中，所述右眼视线平面包括左眼、右眼和所述右眼图像的视线所构成的平面；

或，将所述右眼图像的视线投影到左眼视线平面得到所述待测对象的视线，其中，所述左眼视线平面包括左眼、右眼和所述左眼图像的视线所构成的平面。

7.如权利要求1所述的方法，其特征在于，所述方法还包括：

计算所述左眼图像或所述右眼图像中的内外眼角特征点的连线与水平线的夹角，得到所述头部的翻滚角。