[发明专利]一种用于疲劳驾驶检测的人脸眼睛区域定位方法

摘要

本发明提供了一种用于疲劳驾驶检测的人脸眼睛区域定位方法，在驾驶员头部相对静止运动较慢的情况下，能够跳过需要大量消耗计算资源的级联分类器人脸检测过程，直接根据相邻帧视频图像的匹配参数快速地进行对面部匹配模板匹配和人脸眼睛区域定位处理，而在驾驶员头部运动速度较快的情况下，虽然重新采用级联分类器检测人脸图像区域会在一定程度影响定位效率，但不会对疲劳驾驶报警功能产生实质影响，并且还借助面部匹配模板确定和验证人脸图像区域中各个面部特征区域的相对位置关系，保证定位结果的准确性，且在匹配处理中采用基于像素灰度等级的匹配方式，数据处理量小、执行效率较高，在保证较高准确定性的同时提升了人脸眼睛区域定位速度。

主权项

一种用于疲劳驾驶检测的人脸眼睛区域定位方法，其特征在于，通过在计算机设备中预设的面部匹配模板，对计算机设备获取到的视频图像逐帧地进行人脸眼睛区域的定位处理；所述面部匹配模板为Rect_T(XT,YT,WT,HT)，XT、YT分别表示对面部匹配模板进行定位时模板左上角位置的像素横坐标值和像素纵坐标值，WT、HT分别表示面部匹配模板初始设定的像素宽度值和像素高度值；且面部匹配模板中预设置有9个特征区，分别为左眉特征区、右眉特征区、左眼特征区、右眼特征区、鼻梁特征区、左脸特征区，左鼻孔特征区、右鼻孔特征区和右脸特征区；其中：左眉特征区为Rect_A(ΔXA,ΔYA,WA,HA)，ΔXA、ΔYA分别表示面部匹配模板中左眉特征区的左上角位置相对于模板左上角位置的像素横坐标偏移量和像素纵坐标偏移量，WA、HA分别表示左眉特征区初始设定的像素宽度值和像素高度值；右眉特征区为Rect_B(ΔXB,ΔYB,WB,HB)，ΔXB、ΔYB分别表示面部匹配模板中右眉特征区的左上角位置相对于模板左上角位置的像素横坐标偏移量和像素纵坐标偏移量，WB、HB分别表示右眉特征区初始设定的像素宽度值和像素高度值；左眼特征区为Rect_C(ΔXC,ΔYC,WC,HC)，ΔXC、ΔYC分别表示面部匹配模板中左眼特征区的左上角位置相对于模板左上角位置的像素横坐标偏移量和像素纵坐标偏移量，WC、HC分别表示左眼特征区初始设定的像素宽度值和像素高度值；右眼特征区为Rect_D(ΔXD,ΔYD,WD,HD)，ΔXD、ΔYD分别表示面部匹配模板中右眼特征区的左上角位置相对于模板左上角位置的像素横坐标偏移量和像素纵坐标偏移量，WD、HD分别表示右眼特征区初始设定的像素宽度值和像素高度值；鼻梁特征区为Rect_E(ΔXE,ΔYE,WE,HE)，ΔXE、ΔYE分别表示面部匹配模板中鼻梁特征区的左上角位置相对于模板左上角位置的像素横坐标偏移量和像素纵坐标偏移量，WE、HE分别表示鼻梁特征区初始设定的像素宽度值和像素高度值；左脸特征区为Rect_F(ΔXF,ΔYF,WF,HF)，ΔXF、ΔYF分别表示面部匹配模板中左脸特征区的左上角位置相对于模板左上角位置的像素横坐标偏移量和像素纵坐标偏移量，WF、HF分别表示左脸特征区初始设定的像素宽度值和像素高度值；左鼻孔特征区为Rect_G(ΔXG,ΔYG,WG,HG)，ΔXG、ΔYG分别表示面部匹配模板中左鼻孔特征区的左上角位置相对于模板左上角位置的像素横坐标偏移量和像素纵坐标偏移量，WG、HG分别表示左鼻孔特征区初始设定的像素宽度值和像素高度值；右鼻孔特征区为Rect_H(ΔXH,ΔYH,WH,HH)，ΔXH、ΔYH分别表示面部匹配模板中右鼻孔特征区的左上角位置相对于模板左上角位置的像素横坐标偏移量和像素纵坐标偏移量，WH、HH分别表示右鼻孔特征区初始设定的像素宽度值和像素高度值；右脸特征区为Rect_I(ΔXI,ΔYI,WI,HI)，ΔXI、ΔYI分别表示面部匹配模板中右脸特征区的左上角位置相对于模板左上角位置的像素横坐标偏移量和像素纵坐标偏移量，WI、HI分别表示右脸特征区初始设定的像素宽度值和像素高度值；该方法包括如下步骤：1)读取一帧视频图像；2)判断此前一帧视频图像是否成功匹配得到人脸眼睛区域的定位结果；若不是，继续执行步骤3)；若是，则跳转执行步骤6)；3)采用级联分类器对当前帧视频图像进行人脸检测，判定当前帧视频图像中是否检测到人脸图像区域；如果是，则缓存级联分类器检测到的人脸图像区域左上角位置的像素横坐标值XFace、像素纵坐标值YFace以及人脸图像区域的像素宽度值WFace和像素高度值HFace，并继续执行步骤4)；否则，跳转执行步骤11)；4)根据级联分类器在当前帧视频图像中检测到的人脸图像区域的像素宽度值WFace和像素高度值HFace，对面部匹配模板及其各个特征区的宽度和高度进行比例缩放，按比例缩放后的面部匹配模板为Rect_T(XT,YT,α*WT,β*HT)，从而确定面部匹配模板相对于当前帧图像中人脸图像区域的宽度缩放比例α和高度缩放比例β，并加以缓存；其中，α＝WFace/WT，β＝HFace/HT；5)根据缓存的人脸图像区域左上角位置的像素横坐标值XFace、像素纵坐标值YFace以及人脸图像区域的像素宽度值WFace和像素高度值HFace，确定对当前帧视频图像进行眼睛区域定位处理的检测范围Rect_Search(X,Y,W,H)：Rect_Search(X,Y,W,H)＝Rect(XFace,YFace,WFace,HFace)；其中，X、Y分别表示当前帧视频图像中检测范围左上角位置的像素横坐标值和像素纵坐标值，W、H分别表示当前帧视频图像中检测范围的像素宽度值和像素高度值；然后执行步骤7)；6)利用缓存的人脸图像区域左上角位置的像素横坐标值XFace、像素纵坐标值YFace以及此前一帧视频图像的最佳匹配偏移量Ppre(ΔXpre,ΔYpre)，确定对当前帧视频图像进行眼睛区域定位处理的检测范围Rect_Search(X,Y,W,H)：Rect_Search(X,Y,W,H)＝Rect(XFace+ΔXpre‑α*WT*γ,YFace+ΔYpre‑β*HT*γ,WT+2*α*WT*γ,HT+2*β*HT*γ)；其中，X、Y分别表示当前帧视频图像中检测范围左上角位置的像素横坐标值和像素纵坐标值，W、H分别表示当前帧视频图像中检测范围的像素宽度值和像素高度值；γ为预设定的邻域因子，且0<γ<1；然后执行步骤7)；7)在当前帧视频图像的检测范围Rect_Search(X,Y,W,H)内，以预设定的检测步长，采用按比例缩放后的面部匹配模板Rect_T(XT,YT,α*WT,β*HT)遍历整个检测范围，并根据面部匹配模板中各个按比例缩放后的特征区，分别计算面部匹配模板在当前帧视频图像的检测范围中每个位置对应的各个特征区的灰度比例值；其中：左眉特征区的灰度比例值gray_leve(range_eyebrow,A)表示计算按比例缩放后的左眉特征区Rect_A(α*ΔXA,β*ΔYA,α*WA,β*HA)中灰度值在预设定的眉部特征灰度范围range_eyebrow以内的像素点所占的比例；右眉特征区的灰度比例值gray_leve(range_eyebrow,B)表示计算按比例缩放后的右眉特征区Rect_B(α*ΔXB,β*ΔYB,α*WB,β*HB)中灰度值在预设定的眉部特征灰度范围range_eyebrow以内的像素点所占的比例；左眼特征区的灰度比例值gray_leve(range_eye,C)表示计算按比例缩放后的左眼特征区Rect_C(α*ΔXC,β*ΔYC,α*WC,β*HC)中灰度值在预设定的眼部特征灰度范围range_eye以内的像素点所占的比例；右眼特征区的灰度比例值gray_leve(range_eye,D)表示计算按比例缩放后的右眼特征区Rect_D(α*ΔXD,β*ΔYD,α*WD,β*HD)中灰度值在预设定的眼部特征灰度范围range_eye以内的像素点所占的比例；鼻梁特征区的灰度比例值gray_leve(range_nosebridge,E)表示计算按比例缩放后的鼻梁特征区Rect_E(α*ΔXE,β*ΔYE,α*WE,β*HE)中灰度值在预设定的鼻梁部特征灰度范围range_nosebridge以内的像素点所占的比例；左脸特征区的灰度比例值gray_leve(range_face,F)表示计算按比例缩放后的左脸特征区Rect_F(α*ΔXF,β*ΔYF,α*WF,β*HF)中灰度值在预设定的脸部特征灰度范围range_face以内的像素点所占的比例；左鼻孔特征区的灰度比例值gray_leve(range_nostril,G)表示计算按比例缩放后的左鼻孔特征区Rect_G(α*ΔXG,β*ΔYG,α*WG,β*HG)中灰度值在预设定的鼻孔部特征灰度范围range_nostril以内的像素点所占的比例；右鼻孔特征区的灰度比例值gray_leve(range_nostril,H)表示计算按比例缩放后的右鼻孔特征区Rect_H(α*ΔXH,β*ΔYH,α*WH,β*HH)中灰度值在预设定的鼻孔部特征灰度范围range_nostril以内的像素点所占的比例；右脸特征区的灰度比例值gray_leve(range_face,I)表示计算按比例缩放后的右脸特征区Rect_I(α*ΔXI,β*ΔYI,α*WI,β*HI)中灰度值在预设定的脸部特征灰度范围range_face以内的像素点所占的比例；8)对于面部匹配模板在当前帧视频图像的检测范围中每个位置对应的各个特征区的灰度比例值，若存在面部匹配模板中任意一个特征区的灰度比例值小于预设定的灰度比例门限gray_leveTh，则判定面部匹配模板在该位置匹配失败；若面部匹配模板中各个特征区的灰度比例值均大于或等于预设定的灰度比例门限gray_leveTh，则判定面部匹配模板在该位置匹配成功，并计算面部匹配模板在相应位置所对应的匹配值ε：ε＝[gray_leve(range_eyebrow,A)*λeyebrow+gray_leve(range_eyebrow,B)*λeyebrow+gray_leve(range_eye,C)*λeye+gray_leve(range_eye,D)*λeye+gray_leve(range_nosebridge,E)*λnosebridge+gray_leve(range_face,F)*λface+gray_leve(range_nostril,G)*λnostril+gray_leve(range_nostril,H)*λnostril+gray_leve(range_face,I)*λface]；由此得到面部匹配模板在当前帧视频图像的检测范围中各个匹配成功位置所对应的匹配值；其中，λeyebrow、λeye、λnosebridge、λnostril、λface分别表示预设定的眉部匹配加权系数、眼部匹配加权系数、鼻梁部匹配加权系数、鼻孔部匹配加权系数和脸部匹配加权系数；9)统计面部匹配模板在当前帧视频图像的检测范围中各个匹配成功位置所对应的匹配值，判断其中的最大匹配值εmax是否大于预设定的匹配门限值εTh；如果是，则将该最大匹配值εmax对应的面部匹配模板匹配成功位置的模板左上角位置相对于检测范围左上角位置的像素坐标偏移量Pcur(ΔXcur,ΔYcur)作为当前帧视频图像的最佳匹配偏移量加以缓存，并继续执行步骤10)；否则，判定对当前帧视频图像检测匹配失败，跳转执行步骤11)；10)根据缓存的宽度缩放比例α和高度缩放比例β以及当前帧视频图像的最佳匹配偏移量Pcur(ΔXcur,ΔYcur)，定位确定当前帧图像中人脸左眼区域Rect_LE(XLE,YLE,WLE,HLE)和人脸右眼区域Rect_RE(XRE,YRE,WRE,HRE)，并作为当前帧图像中人脸眼睛区域的定位结果加以输出，然后执行步骤11)；其中，XLE、YLE分别表示定位确定的人脸左眼区域左上角位置的像素横坐标值和像素纵坐标值，WLE、HLE分别表示定位确定的人脸左眼区域的像素宽度值和像素高度值；XRE、YRE分别表示定位确定的人脸右眼区域左上角位置的像素横坐标值和像素纵坐标值，WRE、HRE分别表示定位确定的人脸右眼区域的像素宽度值和像素高度值，且有：XLE＝X+ΔXcur+α*ΔXC，YLE＝Y+ΔYcur+β*ΔYC；WLE＝α*WC，HLE＝β*HC；XRE＝X+ΔXcur+α*ΔXD，YRE＝Y+ΔYcur+β*ΔYD；WRE＝α*WD，HRE＝β*HD；11)读取下一帧视频图像，返回执行步骤2)。