[发明专利]一种用射影不变量提取人脸基准点的方法

权利要求书

1.一种用射影不变量提取人脸基准点的方法，其特征包括以下几个步骤：

第一步，定义特征数

定义1：在射影空间中，一条直线l被任意三条直线a,b和c所截，记直线l与三条直线的交点为P＝<l,a>,Q＝<l,b>,和R＝<l,c>,并记三条直线a,b和c两两交点为μ＝<c,a>，ν＝<a,b>和ω＝<b,c>,则P,Q和R可以用μ,ν,ω线性表示：

P=a1μ+b1vQ=a2v+b2ωR=a3ω+b3μ---(1)]]>

P,Q和R的三点特征数：

κ(P,Q,R)=b1a1·b2a2·b3a3---(2)]]>

由于三点P,Q和R共线，利用面积S_PQR=0，可以得到κ(P,Q,R)=-1；

定义2：在射影空间中，取任意三点都不共线的六点A＝(x_a,y_a,1)，I＝(x_i,y_i,1)，C＝(x_c,y_c,1)，H＝(x_h,y_h,1)，B＝(x_b,y_b,1)，J＝(x_j,y_j,1)；直接利用构成的三角形面积的比率定义六点特征数：

κ(A,I,C,H,B,J)=(-1)3SΔABHSΔACH·SΔBAISΔBCI·SACAJSΔCBJ=(-1)3|ABH||ACH|·|BAI||BCI|·|CAJ||CBJ|---(3)]]>

这里，

|ABH|=111xaxbxhyaybyh---(4)]]>

则称κ(A,I,C,H,B,J)为六点特征数；

第二步，对基准点使用特征数建立关系

采用m张正脸图片制作训练集，手工标记特征脸上的8个基准点：4个眼角、2个鼻孔、2个嘴角，S＝(p₁,p₂,...,p₈)^T,其中p_i＝(x_i,y_i)；

从基准点中的8个点中任取3个点，枚举所有构成三点特征数的组合，对于得到的每一种组合，在训练集中就有m个特征数，对所有组合的特征数画直方图，根据直方图结果，选取所有特征数都满足下式的组合：

|(-1)-CN_sub|²＜ε  （5）

其中CN_sub组合上的特征数，取ε＝0.01；通过公式（5），找出所有三点共线的基准点组合，这些组合的三点特征数就是人脸结构的固有性质，将这些组合和三点特征数称作形状先验；

利用六点特征数和五点特征数，其中五点特征数的计算利用交比，一种基本不变量；从标记好基准点的训练集中找出几何特性，当计算六点特征数时，把标记好的8个基准点分成不同组合的6点子群，根据定义，对所有训练集图像计算这些子群的特征数，将所有可能组合的特征数画直方图，通过直方图，目的试着找出某些组合，他们对于所有训练集特征数近似相等：

|C-CNsub|2<ϵCov(CNsub)<σ---(6)]]>

其中C是常数,CN_sub是组合的特征数值，取ε＝0.01,σ＝0.1，这个参数的选取权衡了图片的大小和计算的精度；通过公式（6），筛选出满足定义的五点和六点特征数和它们的组合，得到更多的形状先验；特征数是射影不变量，在基准点提取时，就利用这些特征数和组合，对基准点做严格的形状约束。

2.根据权利要求1所述的方法，用射影不变量提取人脸基准点，首先使用纹理约束的灰度模板匹配，然后提取人脸的边缘和拐点，最后使用特征数进行几何形状约束，结合纹理和形状约束把提取基准点问题转化为一个凸优化问题；其特征在于具体包括以下几个步骤：

第一步，根据纹理信息进行模板匹配提取初始基准点

首先，根据Viola-Jones人脸检测器提取人脸图片，使用检测器提取眼睛、鼻子和嘴角区域，根据这些区域初始化8个基准点的初始位置；然后以训练集中每张图片的基准点为中心，制作匹配模板；利用图像灰度差和模板进行匹配，滑动窗口在兴趣区域内进行滑动，兴趣区域是以训练集中m张图片的平均基准点为中心；取滑动窗口和匹配模板能量函数值E₁(p_i)，能量函数如下所示：

E1(pi)=||∂S(pi)∂x-∂S(ti)∂x||2---(7)]]>

S(p_i)是以估计基准点p_i为中心的滑动窗口灰度信息，S(t_i)是模板上以第i个基准点为中心的模板灰度信息（i=1,2,…8）；

然后，使用Sobel边缘检测器和Hessian矩阵分别检测边缘点和拐点，分别对边缘点和拐点赋予较大的权值；能量函数如下所示：

E2(pi)=1Pedge(pi)+1Pinf(pi)---(8)]]>

其中

Pedge(pi)=ω1pi∈Pedgeω2pi∉Pedge---(9)]]>

Pinf(pi)=ω3pi∈Pinfω4pi∉Pinf---(10)]]>

P_edge是一系列的检测到的边缘点，ω₁,ω₂∈(0,1)且ω₁＞ω₂；P_inf是一系列的检测到的拐点，ω₃,ω₄∈(0,1)且ω₃＞ω₄；根据式子（7）和（8），定义能量函数：

E(p_i)＝E₁(p_i)+E₂(p_i)  （11）

使能量函数E(p_i)最小的基准点，就是模板匹配后的基准点；

第二步，利用特征数对基准点作形状约束

根据上步，由模板匹配得到初始基准点，通过训练集得到三点特征数、五点特征数和六点特征数的形状先验；这些形状先验反映了人脸基准点之间内在的几何特性，这些形状先验被称之为固有值；利用这些固有值作为基准点提取的形状约束，定义能量函数：

E=Σi=1n||CN(Si‾)-CN(Si)||2---(12)]]>

其中是得到固有值的标记好的人脸基准点子群，是组合的特征数，S₁,S₂,...,S_n是和基准点一致的估计出来的人脸基准点子群；

用梯度下降法寻找最优解，我们对每个基准点{p_k}坐标求偏导，使其等于0，得到函数：

∂E∂pk=Σi=1nfki(CN(Si‾)-CN(Si))∂CN(Si)∂pk=0---(13)]]>

其中f_ki是一个二值函数，如果第k个点p_k在基准点子群S_i中，f_ki就取值1，否则取0；基准点更新准则：

Δpi=∂E∂pi---(14)]]>

更新收敛到估计的基准点特征数和固有值近似相等。