[发明专利]实现眼球三维视线跟踪的方法、装置、设备及存储介质

权利要求书

1.一种实现眼球三维视线跟踪的方法，其特征在于，包括：

将待检测的人脸图像输入至预先构建的头部姿态检测网络，得到所述人脸图像中的头部姿态；

将所述人脸图像输入至预先构建的眼球动作检测网络，得到所述人脸图像的眼球动作；

将所述头部姿态和所述眼球动作输入至预先构建的三维视线向量检测网络，得到所述人脸图像中眼球的三维视线方向向量；

所述将待检测的人脸图像输入至预先构建的头部姿态检测网络，得到所述人脸图像中的头部姿态前包括：采集多幅具有头部姿态和眼球视线的三维标签的人脸图像，构建人脸图像数据集，其中，所述人脸图像为RGB图像；构建初始头部姿态检测网络和初始眼球动作检测网络；利用所述人脸图像数据集分别对所述初始头部姿态检测网络和所述初始眼球动作检测网络进行训练，得到完成训练的所述头部姿态检测网络和所述眼球动作检测网络；

所述初始头部姿态检测网络的网络结构为：

C(3,1,6)-BN-PReLU-P(2,2)-C(3,1,16)-BN-PReLU-P(2,2)-C(3,1,24)-BN-PReLU-C(3,1,24)-PReLU(3,1,16)-BN-PReLU-P(2,2)-FC(256)-FC(128)-PReLU-FC(3)；

所述初始眼球动作检测网络结构为：

C(11,2,96)-BN-PReLU-P(2,2)-C(5,1,256)-BN-PReLU-P(2,2)-C(3,1,384)-BN-PReLU-P(2,2)-C(1,1,64)-BN-PReLU-P(2,2)-FC(128)-FC(2)；

其中，C(k,s,c)表示卷积核尺寸为k，卷积步长为s，通道数为c的卷积层，P(k,s)表示核尺寸为k，步长为s的最大值池化层，BN表示批归一化，PReLU表示激活函数，FC(n)表示全连接层，神经元个数为n；

所述将所述头部姿态和所述眼球动作输入至预先构建的三维视线向量检测网络，得到所述人脸图像中眼球的三维视线方向向量前包括：

利用所述头部姿态检测网络和所述眼球动作检测网络分别对所述人脸图像数据集中的人脸图像进行检测，得到每幅人脸图像的头部姿态和眼球动作；

利用所述各幅人脸图像的头部姿态和眼球动作对预先建立的初始三维视线向量检测网络进行训练，从而得到完成训练的三维视线向量检测网络；

所述初始三维视线向量检测网络为两层全连接网络，网络第一层神经元个数为128，最后层神经元个数为3，对应三维视线向量。

2.如权利要求1所述的方法，其特征在于，所述采集多幅具有头部姿态和眼球视线的三维标签的人脸图像，构建人脸图像数据集包括：

利用面阵摄像头阵列中各个摄像头分别采集数据提供者的人脸图像，得到人脸图像第一子集合；

所述面阵摄像头阵列中每行摄像头采集到多幅人脸图像，表示所述数据提供者在y方向不同的头部姿态；

所述面阵摄像头阵列中每列摄像头采集到的多幅人脸图像，表示所述数据提供者在p方向不同的头部姿态；

对所述面阵摄像头阵列采集到的所述人脸图像分别进行顺时针和逆时针方向的旋转，得到表示所述数据提供者在r方向不同的头部姿态的人脸图像第二子集合；

合并所述人脸图像第一子集合和所述人脸图像第二子集合得到所述人脸图像数据集。

3.如权利要求2所述的方法，其特征在于，所述利用面阵摄像头阵列中各个摄像头分别采集数据提供者的人脸图像包括：

采集所述数据提供者的人脸图像时，记录所述数据提供者眼球正视的显示屏上的动点，从而确定所述数据提供者眼球视线的三维向量标签，且同时记录每幅人脸图像中的头部姿态。

4.如权利要求1所述的方法，其特征在于，所述利用所述人脸图像数据集分别对所述初始头部姿态检测网络和所述初始眼球动作检测网络进行训练包括：

利用所述人脸图像数据集对所述头部姿态检测网络和所述初始眼球动作检测网络进行训练；

其中，损失函数Loss₁＝Loss_h+Loss_e为初步头部姿态检测网络的损失函数Loss_h和初步眼球动作检测网络的损失函数Loss_e之和。