[发明专利]一种视线估计方法、装置、设备及介质

权利要求书

1.一种视线估计方法，其特征在于，所述方法包括：

获取左眼图像和右眼图像；

将所述左眼图像和所述右眼图像输入视线估计模型，获得第一视线估计结果，所述第一视线估计结果包括左眼视线角度、右眼视线角度以及双眼组合视线角度，所述视线估计模型是通过约束单眼视线角度与双眼视线角度一致性训练生成的。

2.根据权利要求1所述的方法，其特征在于，所述获取左眼图像和右眼图像，包括：

获取待处理图像，所述待处理图像包括左眼和右眼；

从所述待处理图像中获取左眼的内外眼角坐标和右眼的内外眼角坐标；

基于所述左眼的内外眼角坐标确定左眼区域，以及基于所述右眼的内外眼角坐标确定右眼区域；

基于所述左眼区域和所述右眼区域分别对所述待处理图像进行裁剪，获得左眼图像和右眼图像。

3.根据权利要求2所述的方法，其特征在于，所述基于所述左眼的内外眼角坐标确定左眼区域，包括：

基于所述左眼的内外眼角坐标确定所述左眼的内外眼角的第一距离；

基于所述左眼的内眼角坐标以及所述第一距离确定所述左眼区域；

所述右眼的内外眼角坐标确定右眼区域，包括：

基于所述右眼的内外眼角坐标确定所述右眼的内外眼角的第二距离；

基于所述右眼的内外眼角坐标以及所述第二距离确定所述右眼区域。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述视线估计模型的训练过程包括：

获取训练样本，所述训练样本包括训练左眼图像、所述训练左眼图像对应的第一视线角度、训练右眼图像、所述训练右眼图像对应的第二视线角度以及第三组合视线角度；

将所述训练左眼图像和所述训练右眼图像分别输入初始模型，获得第二视线结果，所述第二视线估计结果包括左眼视线角度、右眼视线角度以及双眼组合视线角度；

基于所述第一视线角度、所述第二视线角度、所述第三组合视线角度、所述左眼视线角度、所述右眼视线角度以及双眼组合视线角度对所述初始模型进行训练，直至满足预设条件，获得视线估计模型。

5.根据权利要求4所述的方法，其特征在于，所述基于所述第一视线角度、所述第二视线角度、所述第三组合视线角度、所述左眼视线角度、所述右眼视线角度以及所述双眼组合视线角度对所述初始模型进行训练，包括：

基于所述第一视线角度以及所述左眼视线角度获得第一损失值；

基于所述第二视线角度和所述右眼视线角度获得第二损失值；

基于所述第三组合视线角度以及所述双眼组合视线角度获得第三损失值；

基于所述第一损失值、所述第二损失值和所述第三损失值的加权和对所述初始模型进行训练。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

基于所述左眼视线角度和所述右眼视线角度确定交点坐标，并对所述交点坐标进行转换获得第四组合视线角度；

基于所述第三组合视线角度和所述第四组合视线角度获得第四损失值；

所述基于所述第一损失值、所述第二损失值和所述第三损失值的加权和对所述初始模型进行训练，包括：

基于所述第一损失值、所述第二损失值、所述第三损失值以及所述第四损失值的加权和对所述初始模型进行训练。

7.根据权利要求6所述的方法，其特征在于，所述基于所述左眼视线角度和所述右眼视线角度确定交点坐标，包括：

基于所述左眼视线角度获取第一视线方向坐标，以及基于所述右眼视线角度获取第二视线方向坐标；

获取左眼视线起点坐标和右眼视线起点坐标；

以所述左眼视线起点坐标与所述第一视线方向坐标的计算结果，和所述右眼视线起点坐标与所述第二视线方向坐标的计算结果相等为条件，获得交点坐标。