[发明专利]视线追踪及训练方法和装置、系统、电子设备和存储介质

权利要求书

1.一种视线追踪神经网络的训练方法，其特征在于，包括：

利用第一神经网络获取至少一个样本图像中的眼珠转角预估信息，利用第二神经网络获取所述至少一个样本图像中的头部姿态预估信息；其中，所述样本图像标注有视线方向标注信息；

分别针对所述至少一个样本图像中的任一样本图像，通过几何运算方式，根据所述任一样本图像的眼珠转角预估信息和头部姿态预估信息，计算视线方向预估信息；所述几何运算方式为无神经网络参数的运算方式；

基于所述至少一个样本图像的所述视线方向预估信息和所述视线方向标注信息，对所述第一神经网络和所述第二神经网络进行训练。

2.根据权利要求1所述的方法，其特征在于，所述样本图像还标注有眼珠转角标注信息；

所述利用第一神经网络获取至少一个样本图像中的眼珠转角预估信息之前，还包括：

基于所述至少一个样本图像的眼珠转角预估信息和眼珠转角标注信息，对所述第一神经网络进行训练。

3.根据权利要求2所述的方法，其特征在于，基于所述至少一个样本图像的眼珠转角预估信息和眼珠转角标注信息，对所述第一神经网络进行训练，包括：

利用所述第一神经网络分别获取所述至少一个样本图像中的眼珠转角，得到至少一个眼珠转角预估信息；

基于所述至少一个样本图像的所述眼珠转角预估信息与所述眼珠转角标注信息之间的差值，获取第一损失函数值；

识别所述第一损失函数值是否满足第一预设条件；

响应于所述第一损失函数值不满足第一预设条件，基于所述第一损失函数值对第一神经网络的参数值进行调整，然后迭代执行所述利用所述第一神经网络分别获取所述至少一个样本图像中的眼珠转角的操作，直至所述第一损失函数值满足第一预设条件。

4.根据权利要求3所述的方法，其特征在于，所述样本图像还标注有头部姿态标注信息；

所述利用第二神经网络获取所述至少一个样本图像中的头部姿态预估信息之前，还包括：

基于所述至少一个样本图像的头部姿态预估信息和头部姿态标注信息，对所述第二神经网络进行训练。

5.根据权利要求4所述的方法，其特征在于，基于所述至少一个样本图像的头部姿态预估信息和头部姿态标注信息，对所述第二神经网络进行训练，包括：

利用所述第二神经网络分别获取所述至少一个样本图像中的头部姿态，得到至少一个头部姿态预估信息；

基于所述至少一个样本图像的所述头部姿态预估信息与所述头部姿态标注信息之间的差值，获取第二损失函数值；

识别所述第二损失函数值是否满足第二预设条件；

响应于所述第二损失函数值不满足第二预设条件，基于所述第二损失函数值对第二神经网络的参数值进行调整，然后迭代执行所述利用所述第二神经网络分别获取所述至少一个样本图像中的头部姿态的操作，直至所述第二损失函数值满足第二预设条件。

6.根据权利要求5所述的方法，其特征在于，根据所述任一样本图像的眼珠转角预估信息和头部姿态预估信息，计算视线方向预估信息，包括：

响应于所述第一损失函数值满足第一预设条件、且所述第二损失函数值满足第二预设条件，执行所述根据所述任一样本图像的眼珠转角预估信息和头部姿态预估信息，计算视线方向预估信息的操作。

7.根据权利要求1所述的方法，其特征在于，所述眼珠转角预估信息为样本图像中头部坐标系中的眼珠转角预估信息，所述头部姿态预估信息为获取样本图像的照相机坐标系中的头部姿态预估信息；

根据所述任一样本图像的眼珠转角预估信息和头部姿态预估信息，计算视线方向预估信息，包括：

分别针对所述任一样本图像，通过头部坐标系到照相机坐标系的第一变换矩阵对所述眼珠转角预估信息进行变换，获得所述任一样本图像在照相机坐标系中的视线方向预估信息。