[发明专利]复杂背景图像中的鲁棒人脸检测方法

摘要

复杂背景下的人脸检测技术属于人脸识别领域。其特征在于，提出了一种性能鲁棒的复杂背景下图像中的人脸检测方法。它采用高效率和高冗余度的微结构特征来表达人脸模式中眼睛、嘴巴等区域的灰度分布特点；并采用风险敏感的AdaBoost算法从中选择出最具有区分人脸和非人脸的微结构特征构成强分类器，使训练得到的每一层分类器在保证对人脸类别极低的拒识率的情况下，尽可能降低非人脸样本的误接受率，从而以更简单的结构实现复杂背景图像下更高性能的人脸检测；另外还使用了后处理算法进一步降低误检率。在多个公开数据库上以及竞赛评测的结果证明了本发明的优异性能。

主权项

1、复杂背景图像中的鲁棒人脸检测方法，其特征在于，该方法是一种基于人脸和非人脸模式的分类错误风险敏感分类器的统计学检测方法，该方法首先对收集到的样本进行尺寸归一化和光照归一化，以最大限度地消除输入样本因光照和尺寸的不同而造成的类内差异，然后高效率地提取能很好反映人脸模式结构特点的微结构特征，在此基础上利用CS-AdaBoost算法选择出最具鉴别性的特征组成具有极低误拒识率和极低误接受率的强分类器，然后把多层强分类器级联成一个完整的人脸检测器，最后使用后处理算法把检测到的人脸候选进行归并处理得到最终的人脸位置；在由图像采集设备和计算机组成的系统中，本检测方法包括训练阶段和检测阶段；其中训练阶段依次含有以下步骤：步骤1.样本的采集利用包含摄像头、数码相机、扫描仪在内的任一种设备采集图像，并将其中的人脸人工标定切割出来，建立人脸训练样本数据库；从不包含人脸的风景图片中随机切割出非人脸训练图像；共得到11580个人脸样本和2000000张非人脸样本作为训练样本集；步骤2.归一化处理，包含样本光照和大小的线性归一化；步骤2.1尺寸归一化，把步骤1得到的人脸和非人脸图像归一化为指定尺寸；设原始样本图像为[F(x，y)]_M×N，图像宽度和高度分别为M和N，尺寸归一化后为[G(x，y)]_W×H，实验中取W＝H＝20；使用反向投影和线性插值从原始样本图像得到归一化后样本图像，则输入图像与归一化后图像之间的对应关系有：                  G(x，y)＝F(x/r_x，y/r_y)其中r_x和r_y分别为x和y方向的尺度变换因子：r_x＝N/H，r_y＝M/W；由于x/r_x、y/r_y的取值一般不为整数，故需要根据附近已知离散点处的值来估计F(x/r_x，y/r_y)的取值；本发明采用线性插值方法；对于给定(x，y)，令：x/rx=x0+Δxy/ry=y0+Δy,0≤Δx,Δy<1]]>其中：x0=[x/rx],Δx=x/rx-x0y0=[y/ry],Δy=y/ry-y0,]]>[·]为取整函数，可得：G(x，y)＝F(x₀+Δ_x，y₀+Δ_y)＝F(x₀，y₀)Δ_xΔ_y+F(x₀+1，y₀)(1-Δ_x)Δ_y；+F(x₀，y₀+1)Δ_x(1-Δ_y)+F(x₀+1，y₀+1)(1-Δ_x)(1-Δ_y)步骤2.2灰度归一化对尺寸归一化后的样本图像G(x，y)的每个像素的灰度进行如下变换，将均值μ和方差σ调整到给定值μ₀和σ₀，得到样本图像I(x，y)：I(x,y)=σ0σ‾(G(x,y)-μ‾)+μ0.]]>其中μ‾=1WHΣy=0H-1Σx=0W-1G(x,y),σ‾=1WHΣy=0H-1Σx=0W-1(G(x,y)-μ‾)2;]]>步骤3.样本特征库的获取计算出积分图以快速提取微结构特征，它依次含有以下步骤：步骤3.1计算每个样本的积分图根据定义使用II(x,y)=Σ0≤x′≤xΣ0≤y′≤yI(x′,y′)]]>计算每个样本对应的积分图II(x，y)，并且有II(-1，y)＝0，II(x，-1)＝0；步骤3.2微结构特征库的提取设定：下述五种类型微结构模板来把取人脸样本的高维微结构特征，每一种微结构特征通过计算模板黑色区域和白色区域内所对应图像中像素灰度和的差值来得到，所述微结构特征用g(x.y.w.h)表述，对于所述五种类型微结构特征向量，分别表示如下：(a)类：黑色区域和白色区域左右对称且面积相等用w其中各区域的宽，h表示其中各区域的高：     g(x，y，w，h)＝2·II(x+w-1，y-1)+II(x+2·w-1，y+h-1)                    +II(x-1，y+h-1)-2·II(x+w-1，y+h-1)                    -II(x+2·w-1，y-1)-II(x-1，y-1)(b)类：黑色区域和白色区域上下对称且面积相等，w、h的定义与(a)类相同：     g(x，y，w，h)＝2II(x+w-1，y+h-1)+II(x-1，y-1)-II(x+w-1，y-1)                    -2II(x-1，y+h-1)-II(x+w-1，y+2h-1)+II(x-1，y+2h-1)(c)类：在水平方向，黑色区域位于两块白色区域之间，且黑色区域和每块白色区域的面积相等，w、h的定义与(a)类相同：g(x，y，w，h)＝2II(x+2w-1，y+h-1)+2II(x+w-1，y-1)-2II(x+2w-1，y-1)         -2II(x+w-1，y+h-1)-II(x+3w-1，y+h-1)-II(x-1，y-1)         +II(x-1，y+h-1)+II(x+3w-1，y-1)(d)类：两块黑色区域分别处于第一象限和第三象限，而两块白色区域分别处于，且每块黑色区域和每块白色区域的的面积相等w、h的定义与(a)类相同：g(x，y，w，h)＝-II(x-1，y-1)-II(x+2w-1，y-1)-II(x-1，y+2h-1)     -4II(x+w-1，y+h-1)+2II(x+w-1，y-1)+2II(x-1，y+h-1)     -II(x+2w-1，y+2h-1)+2II(x+2w-1，y+h-1)+2II(x+w-1，y+2h-1)(e)类：黑色区域位于白色区域有中央，且黑色区域的分布对称且黑色区域的上、下两边、左、右两边分别距离白色区域的上、下两边、左、右两边各为2个像素的距离，w、h分别表示白色区域周框的宽和高：g(x，y，w，h)＝II(x+w-1，y+h-1)+II(x-1，y-1)-II(x+w-1，y-1)-II(x-1，y+h-1)-II(x+w-3，y+h-3)-II(x+1，y+1)+II(x+1，y+h-3)+II(x+w-1，y+1)对于一个20×20像素的样本图像参数x.y.w.h后共有92267个，分布于所述五种类型中的微结构特征，组成该样本的特征点是FV(j)，1≤j≤92267；步骤3.3特征的归一化，即对每一个像素样本图像进行灰度均值和方差的归一化：设：每一个20×20像素小窗口区域，即(x₀≤x′≤x₀+19，y₀≤y′≤y₀+19)内的像素灰度和的内值为μ，方差为σ，则：μ＝[II(x₀+19，y₀+19)+II(x₀-1，y₀-1)-II(x₀-1，y₀+19)-II(x₀+19，y₀-1)]/400     σ＝{[SqrII(x₀+19，y₀+19)+SqrII(x₀-1，y₀-1)-SqrII(x₀-1，y₀+19)         -SqrII(x₀+19，y₀-1)]/400-μ²}^1/2接着对每个微结构特征作如下归一化：FV(j)=σ0σ‾FV‾(j)]]>对于一个20×20像素的样本图像，共得到92267维微结构特征FV(j)，1≤j≤92267步骤4.特征选择和分类器设计用以上训练样本集训练以及CS-AdaBoost算法训练每一层人脸/非人脸强分类器，并将多层强分类器级联起来组成一个完整的人脸检测器。包括以下步骤：步骤4.1初始化i＝1；定义每层强分类器的训练目标是在人脸训练集上FRR≤0.02％，在非人脸训练集上FAR≤60％；定义整个人脸检测器在人脸训练集上的目标FRR≤0.5％，在非人脸训练集上的目标FAR≤3.2×10^-6；步骤4.2训练第i层强分类器；步骤4.3用训练得到的前i层分类器对样本集进行检测，并计算FRR、FAR：       FAR＝被判别为人脸的非人脸样本个数÷非人脸样本总数×100％       FRR＝被判别为非人脸的人脸样本个数÷人脸样本总数×100％步骤4.4如果FRR、FAR未达到步骤4.1设定的预定值，则i←i+1，返回步骤4.2继续进行训练；否则停止训练；其中步骤4.2依次含有以下步骤：步骤4.2.1参数的初始化训练样本误分类风险的初始化；对于人脸样本的误分类风险Ci=2cc+1,]]>对非人脸样本的误分类风险Ci=2c+1,]]>c是人脸类别是非人脸类别的误分类风险倍数，c值应大于1且随着强分类器层数的增多逐渐减小接近于1；训练样本权重的初始化；初始每个样本的权重为D1(i)=CiΣjCj;]]>选择迭代次数T，T即为希望使用的弱分类器的个数，T应随着强分类器层数的增多逐渐增多；统计样本集上每个特征分布的极大值Fmax(j)和极小值Fmin(j)，其中j为特征序号，1≤j≤92267；步骤4.2.2重复以下过程T次，t＝1，...，T：步骤4.2.2.1使用第j个特征，1≤j≤92267)构造弱分类器h_j，然后在Fmin(j)和Fmax(j)间穷举搜索阈值参数θ_j，使得h_j的错误率ε_j最小，定义ϵj=Σi=1nDt(i)·|hj(subi)-li|;]]>弱分类应用h_j(sub)表示，简称h_j：hj(sub)=1,ifgj(sub)<θjorgj(sub)>θj0,otherwise]]>其中：sub是一个20×20像素的样本，g_j(sub)是从该样本把取得到的第j个特征；θ_j是第j个特征对左右的判决阈值，为设定值(该阈值通过统计所有采集的人脸和非人脸样本的第j个特征使得人脸样本的FRR满足规定的要求来得到)；hj(sub)是使用第j个特征构造的树分类器的判决输出，相反地，可得到92267个弱分类器；li＝o.l是样本图像subi的类别标号，分别对应非人脸类别和人类脸别，其中人脸样本n_face个，非人脸样本n_nonface个，共同构成训练样本集：L＝{(sub_i，l_i)}，i＝1，...，n，l_i＝0，1；步骤4.2.2.2令ϵt=argmin1≤j≤92267ϵj,]]>并将其对应的弱分类器作为h_t；步骤4.2.2.3计算参数αt=12ln(1-ϵtϵt);]]>步骤4.2.2.4更新样本的权重Dt+1(i)=Dt(i)exp(-αtliht(subi))exp(λαtli)Zt,]]>其中λ=c-1c+1,]]>i＝1，...，n，Zt=Σi=1nDt(i)exp(-αtliht(subi))exp(λαtli).]]>步骤4.2.3输出最后的强分类器由以上各个步骤可以训练得到一个完整的人脸检测器；在检测阶段，该发明采用以下步骤来判断一张输入图像中是否包含人脸：步骤1.输入图像的采集利用摄像头、数码相机、扫描仪等任一设备采集图像；步骤2.输入图像的放缩及其图像中每一个小窗口的快速判断为检测不同尺寸的人脸，采用前文使用的线性插值方法按照一定比例连续缩小12次输入图像(本发明采用1.25的比例)，共得到由13个不同尺寸的输入图像，分别判断每张输入图像中的每一个20×20像素的小窗口，这样可以检测尺寸从20×20像素到280×280像素的人脸；具体来说包括以下步骤：步骤2.1输入图像的放缩采用前文使用的线性插值方法按比例q＝1.25连续缩小12次输入图像I(x，y)得到输入图像序列{I_i(x，y)}，i＝0，...，12；步骤2.2积分图像的计算使用上文迭代公式分别计算每个图像I_i(x，y)所对应的积分图像II_i(x，y)和平方积分图像SqrII_i(x，y)，i＝0，...，9；步骤2.3判断图像中每一个的小窗口从每幅图像I_i(x，y)的左上角开始判别图像中每一个20×20像素尺寸的小窗口，对任一个小窗口[x₀，y₀；x₀+19，y₀+19]的处理步骤如下：步骤2.3.1利用整幅图像的积分图II_i(x，y)和平方积分图SqrII_i(x，y)计算小窗口的均值μ和方差σ；μ＝[II_i(x₀+19，y₀+19)+II_i(x₀-1，y₀-1)-II_i(x₀-1，y₀+19)-II_i(x₀+19，y₀-1)]/400σ＝{[SqrII_i(x₀+19，y₀+19)+SqrII_i(x₀-1，y₀-1)-SqrII_i(x₀-1，y₀+19)    -SqrII_i(x₀+19，y₀-1)]/400-μ²}^1/2步骤2.3.2利用前文介绍方法快速提取该小窗口的微结构特征，并进行特征归一化处理；步骤2.3.3采用训练好的多层人脸/非人脸强分类器对小窗口进行判断；如果通过所有层强分类器的判断，则认为该小窗口包含一个人脸，输出其位置；否则抛弃掉该小窗口，不进行后续处理；利用以上步骤可以快速鲁棒地检测一张输入图像中的所有人脸。