[发明专利]一种基于人眼差分图像的视线角度估计方法

说明书

本发明公开了一种基于人眼差分图像的视线角度估计方法，将被测试人眼图像和参考人眼图像这两个不同的人眼图像输入到孪生神经网络中，通过网络回归得到相应的视线角度的差分值。当参考人眼图像的视线角度已知时，就可以得到被测试人眼图像的视线角度。所述方法解决了现有视线角度估计方法中从图像直接估计视线角度，由于个人的表观差异会带来较大的估计误差的问题；同时解决了针对某一个体进行数据标定的工作量相当大的问题。本发明利用孪生神经网络技术估计两个图像中视线角度的差分值，从而得到被测试人眼图像的视线角度，其角度估计精度高，鲁棒性好。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于人眼差分图像的视线角度估计方法的设计。

背景技术

视线角度估计是通过图像处理技术将人眼部的视线角度计算出来，一般分为基于几何模型和基于表观模型两种估计方法。基于几何模型的估计方法是通过计算眼部的几何参数从而得到视线角度；基于表观模型的估计方法是将此问题看作回归问题，利用机器学习技术直接从输入图像中学习回归子，从而得到视线角度。由于前者较多的依赖于眼部图像的分辨率，因此后者成为主流的研究方向。但在目前基于表观模型的研究中，大多算法都是利用深度神经网络技术训练人眼图像，直接得到视线角度。一方面，由于网络训练与测试时所用到的人眼图像往往是不同的主体，所以个人表观特征的差异往往使得这种利用图像直接得到视线角度的方法存在较大的误差。虽然这种方法的平均误差可能较小，但针对某一个体时，通常存在较为固定的估计误差，影响了整个系统的估计精度。另一方面，如果针对某一个体进行网络学习时需要大量的数据标定工作，使得系统的应用范围受到极大的限制。

孪生网络技术的特征是其输入为两路，利用此两路输入，可以得到所对应输入的差分特征值。虽然网络训练集与测试集的数据来源不同，但在对训练好的网络进行测试时，网络输入可以选择相同主体的人眼图像分别作为参考图像和被测试图像。由于参考图像的视线角度可以提前标定，那么系统最终得到的被测试图像的视线角度即为参考图像视线角度与孪生网络输出的和。这样避免了由于个体原因带来的误差，提高了估计精度；并且，由于只需要选择几个有限的参考图像进行标定，这样大大减少了针对某一个体进行标定的工作量。

发明内容

本发明的目的是针对现有技术中的上述不足，提出了一种基于人眼差分图像的视线角度估计方法，解决现有人眼视线角度估计结果不精确，标定工作量大的问题。

本发明的技术方案为：一种基于人眼差分图像的视线角度估计方法，包括以下步骤：

S1、向孪生神经网络的两个输入端分别输入被测试人眼图像和参考人眼图像。

S2、在孪生神经网络中将被测试人眼图像和参考人眼图像分别依次经过VGG16网络、第一全连接层以及ReLU激活函数，得到第一特征向量和第二特征向量。

S3、将第一特征向量和第二特征向量拼接为第三特征向量。

S4、将第三特征向量依次经过第二全连接层和ReLU激活函数，得到第四特征向量。

S5、将第四特征向量经过第三全连接层，在孪生神经网络的输出端得到被测试人眼图像和参考人眼图像对应的视线角度差分值G_d。

S6、对参考人眼图像进行标定，得到参考人眼图像的视线角度向量G_f。

S7、根据参考人眼图像的视线角度向量G_f以及视线角度差分值G_d，得到被测试人眼图像的视线角度向量G_t。

本发明的有益效果是：本发明通过两个不同的人眼图像得到所对应视线角度的差分值，并通过标定的参考人眼图像所对应的视线角度得到被测试图像的视线角度，这种方法避免了网络训练集与测试集中由于主体个体差异带来的估计误差，并且大大减少了针对某一个体进行数据标定的工作量，提高了系统的可操作性，其角度估计精度高，鲁棒性好。