[发明专利]实现眼球三维视线跟踪的方法、装置、设备及存储介质

说明书

本发明公开了一种实现眼球三维视线跟踪的方法、装置、设备以及计算机可读存储介质，包括：将待检测的人脸图像输入至预先构建的头部姿态检测网络，得到所述人脸图像中的头部姿态；将所述人脸图像输入至预先构建的眼球动作检测网络，得到所述人脸图像的眼球动作；将所述头部姿态和所述眼球动作输入至预先构建的三维视线向量检测网络，得到所述人脸图像中眼球的三维视线方向向量。本发明所提供的方法、装置、设备以及计算机可读存储介质，可以从二维的人脸图像中提取到被拍摄者眼球的三维视线方向向量，具有广泛的应用场景。

技术领域

本发明涉及眼球跟踪技术领域，特别是涉及一种实现眼球三维视线跟踪的方法、装置、设备以及计算机可读存储介质。

背景技术

眼球跟踪算法的研究已经有较为成熟的成果，且已经成功地在很多商业应用上实现，例如VR/AR技术，虽然传统的眼球跟踪技术能够实现较高的精度，然而现阶段眼球跟踪算法基本上是基于传统的图像处理方法，依赖于昂贵的红外设备，且需要在头部安装特殊的检测设备，检测眼球的特征。传统的图像处理方法检测精度受光线变化的影响，且检测距离受到严重的约束。所以急需一种能通过普通摄像头拍摄的一种RGB图像实现眼球跟踪的算法。在计算机视觉领域，深度卷积神经网络已经在很多方面取得了重大成果，例如目标检测、实例分割等等。

现有技术中也有相应的基于深度学习的眼球跟踪技术，具体步骤如下：获取视网膜病变影像数据；对视网膜病变影像数据进行数据标注，得到标注数据；建立初始深度学习网络；将视网膜病变影像数据输入初始深度学习网络中，输出得到相应的预测数据；利用损失函数对视网膜病变影像数据相应的标注数据和预测数据进行比较，得到比较结果；根据比较结果，调节初始深度学习网络中的参数，直到比较结果达到预设阈值，得到最终的深度学习网络模型；利用深度学习网络模型对待测视网膜病变影像数据进行处理，得到相应的眼球中心坐标以及眼球直径。

因此现有的眼球跟踪技术中，一种是基于传统的图像处理算法实现眼球跟踪技术，虽然这类算法已经有较为成熟的商业应用，然而传统的图像处理算法检测精度受光线变化的影响，而且依赖于昂贵的头部佩戴红外线设备，头部的便捷性体验较差，检测距离也受到约束。另一种是基于深度学习算法的眼球跟踪算法，然而现有的基于技术中基于深度学习算法的眼球跟踪算法仅能检测眼球中心位置及眼球直径，仅包含眼球动作的二维信息，应用场景受到约束。

综上所述可以看出，如何通过二维人脸图像获取眼球的三维视线方向向量是目前有待解决的问题。

发明内容

本发明的目的是提供一种实现眼球三维视线跟踪的方法、装置、设备以及计算机可读存储介质，以解决现有技术中基于深度学习的眼球跟踪算法只能检测出眼球的二维信息的问题。

为解决上述技术问题，本发明提供一种实现眼球三维视线跟踪的方法，包括：将待检测的人脸图像输入至预先构建的头部姿态检测网络，得到所述人脸图像中的头部姿态；将所述人脸图像输入至预先构建的眼球动作检测网络，得到所述人脸图像的眼球动作；将所述头部姿态和所述眼球动作输入至预先构建的三维视线向量检测网络，得到所述人脸图像中眼球的三维视线方向向量。

优选地，所述将待检测的人脸图像输入至预先构建的头部姿态检测网络，得到所述人脸图像中的头部姿态前包括：

采集多幅具有头部姿态和眼球视线的三维标签的人脸图像，构建人脸图像数据集，其中，所述人脸图像为RGB图像；

构建初始头部姿态检测网络和初始眼球动作检测网络；

利用所述人脸图像数据集分别对所述初始头部姿态检测网络和所述初始眼球动作检测网络进行训练，得到完成训练的所述头部姿态检测网络和所述眼球动作检测网络。

优选地，所述采集多幅具有头部姿态和眼球视线的三维标签的人脸图像，构建人脸图像数据集包括：

利用面阵摄像头阵列中各个摄像头分别采集数据提供者的人脸图像，得到人脸图像第一子集合；