[发明专利]一种基于相关熵的注视点估计方法

摘要

本发明公开了一种基于相关熵的注视点估计方法，包含步骤如下：1、人脸图像采集；2、人眼图像亚像素提取；3、人眼图像特征降维；4、注视点位置估计；本发明方法能在不同的环境条件下对注视点进行精确的估计。

主权项

1.一种基于相关熵的注视点估计方法，其特征在于：该方法只需要单摄像头以及在屏幕上均匀标定点，具体包括如下步骤：步骤1：人脸图像提取：在对注视点估计过程中，采用adboost人脸检测算法对人脸图像进行提取；步骤2：人眼图像亚像素提取：在经过步骤1对人脸图像进行提取后，采用亚像素级的方法对人眼图像进行精准提取，具体方法为：主要是在不同的头部姿态条件下，寻找最优的人眼区域图像；首先初始化人眼区域的初始顶点坐标e0(x，y)，通过对齐操作后的位置信息为e(x，y),二者之间的变换函数如下：在公式中transform(x,y)是对齐变换函数，s为图像缩放比例，θ是旋转角度，tx,ty是在x、y方向上的偏移像素位移；假设E＝{vec(e1)|...|vec(en)}是标准的裁剪的人眼图像集，作为训练样本，通过人眼区域图像对齐操作使下面目标函数实现最小化实现对人眼图像提取：公式中τ为变换矩阵，表示对测试人眼图像进行相似性变换，在目标函数中τ含有未知参数:s,θ,t_x,t_y，其中w表示训练样本与人眼变换后的样本之间的线性关系；步骤3：人眼特征降维：在经过对步骤2提取的人眼图像进行提取后，对人眼图像进行HoG特征提取，然后使用KL散度算法对人眼图像的HoG特征进行降维操作；具体方法为：假设α，β，γ分别代表人眼特征空间、注视点空间和人眼特征投影空间，对于不同的空间结构，特征降维的目的主要过程是通过人眼特征空间转换，使转换后的空间γ与注视点空间β更加的相似；为了更好学习度量测度，使用欧式距离表示空间的距离测度关系，即：D(i,j)＝||i‑j||2；假设对于训练样本集，定义训练样本之间的条件分布如下：式(11)中：D(i,j)＝||i‑j||2表示空间位置(i,j)之间的距离测度关系；对于人眼特征投影空间和注视点空间的条件分布分别是：式(12)和(13)中D(Cei,Cej)和D(gi,gj)分别表示人眼特征投影空间和注视点空间的距离测度关系，C表示投影变换矩阵，ei表示第i个人眼特征，gi表示第i个注视点位置信息；对于人眼投影空间Pt(j|i)以及注视点空间Pg(j|i)结构，通过最小化KL散度KL(Pg(j|i)|Pt(j|i))函数实现对转换矩阵C进行求解：其中PSD表示半正定矩阵；得到矩阵A后，通过A＝CTC求解，得到转换矩阵C，从而实现对人眼图像特征的降维；步骤4：注视点位置估计：首先通过标定过程得到训练样本集包含人眼特征集以及对应的注视点位置信息集合，在测试过程中通过训练样本集中人眼特征集合对测试人眼特征进行重构，得到测试人眼特征与训练集中人眼特征集合之间的权重关系，最后利用权重共享关系利用训练样本集中的注视点位置信息集合对测试者注视点位置进行计算；具体方法为：首先进行标定过程，在标定过程中头部姿态静止，测试者眼睛注视屏幕上的标定点，人眼的注视随着标定点位置变化而变化，在标定过程中保存测试者场景图像和标定点坐标信息x＝{x1,x2,...,xn}，通过步骤1、2、3对场景图像进行处理后，得到人眼特征向量的训练集E＝{e1,e2,...,en}∈Rm×n，m表示人眼特征的维数，n表示样本个数；根据人眼特征向量的训练集E＝{e1,e2,...,en}∈Rm×n与标定点位置信息x＝{x1,x2,...,xn}，假设测试人眼特征e′，通过相关熵利用样本局部相似性对测试人眼特征e′进行重构：式中E为训练人眼特征向量集，e′表示测试人眼特征，d∈R^n×1表示测试人眼特征e′与第i个训练人眼特征向量之间的距离，δ取值为1，w表示测试样本与训练样本之间的权重关系；在得到测试人眼特征e′与训练样本E＝{e1,e2,...,en}∈Rm×n之间的权重关系w后，最后利用人眼特征空间与注视点空间的权重共享关系，对于测试样本的注视点位置x′，可由训练样本的注视点位置点集x＝{x1,x2,...,xn}计算可得：m表示人眼特征的维数，n表示样本个数。