[发明专利]一种基于主动红外视频的打哈欠判别方法

说明书

技术领域

本发明属于计算机视觉领域，特别涉及一种基于主动红外视频的打哈欠判别方法。

背景技术

近年来，疲劳驾驶在导致交通事故中的比例逐年上升，因此，对驾驶员的疲劳状态监测研究在预防交通事故上具有重要意义。在驾驶疲劳状态监测技术中，监测技术的准确性对疲劳监测的可靠性尤为关键。目前虽已有大量的基于客观评判和主观度量的监测技术，但是其中多数技术存在准确率低、实用性不强、操作复杂、监测设备要求太高以及抗干扰能力不强等多种问题。研究表明，基于面部特征的主观度量疲劳状态判别方法具有硬件设备要求低、实现比较容易、直观性良好、对驾驶员影响小等优点。目前在国内虽已有基于面部特征的疲劳判别方法和系统，但其可靠性仍不能满足实际需要，比如仍缺乏长途客运/货运汽车的驾驶员疲劳检测预装系统。

打哈欠是可以表征驾驶员疲劳状态的一个显著特征。为了适应全天候和连续的监测，减少光照的影响，提出使用主动红外摄像头监测驾驶员打哈欠状态，但是在红外视频中，打哈欠判别存在两个问题：一个是嘴巴区域的定位问题。通常的方法是基于颜色或边缘特征对嘴巴进行定位，基于颜色特征的定位方法在红外视频中其特征不明显，而常用的边缘检测方法会存在边缘很少、边缘不连续和边缘缺失的问题，单一的边缘检测方法对打哈欠时嘴巴边缘特征表征不明显且对噪声敏感，很容易出现漏检或误检的情况。

另一个是打哈欠状态的判别问题。一般采用嘴部内轮廓的开合程度（嘴唇区域的高宽比）、嘴唇轮廓所在面积、基于灰度能量角点的嘴唇动态匹配模型等作为打哈欠的判别依据，由于在嘴巴定位环节采用区域规划的方法，那么基于高宽比和面积统计的方法就不适用，而且即使在可见光视频中检测到嘴巴后使用高宽比、面积统计和动态匹配模型，由于视频中人脸的大小和角度随时变化，其可靠性也不高。

发明内容

为了解决上述问题，本发明提供一种基于主动红外视频的打哈欠判别方法，该方法在人脸检测框上通过区域规划的方法定位嘴巴，其定位效率高、不会出现漏检，对嘴部动作和环境变化的适应度好；然后在规划区域内采用Prewitt与Canny融合边缘表征红外视频中打哈欠时的嘴巴边缘，再定义融合边缘的纵向投影比，能够定量的区分出打哈欠状态与其他常规状态（闭嘴、微笑及说话等），由于融合边缘的纵向投影比对嘴巴大小、角度、局部的边缘缺失和噪声不敏感，因此可提高打哈欠状态判别的可靠性。本发明的技术方案包含以下步骤：

步骤1，通过主动红外摄像头获取视频帧，基于Haar-like特征和AdaBoost分类器检测人脸图像；

步骤2，在人脸检测框内规划出嘴巴活动区域；

步骤3，在规划出的嘴巴活动区域内进行Prewitt和Canny融合边缘检测，并计算融合边缘纵向投影比R_y；

步骤4，确定类打哈欠的阈值T_R；

步骤5，打哈欠判别，确定阈值T_R后，当R_y>T_R时可将该视频帧的状态判别为“类打哈欠”，如果在连续一定时间t秒内“类打哈欠”帧数s大于阈值p，则判别为一次打哈欠。

步骤2中嘴巴规划区域在人脸检测框的正中下方，保证无论脸朝向哪个方向嘴巴都处于所规划的区域内，设人脸检测框的宽和高分别为W和H，规划区域的宽和高分别为W/2和H/3。

步骤3中融合边缘检测方法是先检测Prewitt边缘，在此基础上再检测Canny边缘，通过四种状态下（嘴巴闭合、微笑、说话以及打哈欠）的人脸各种边缘检测实验，表明这种边缘融合方式可更好的区分打哈欠状态。在规划的嘴巴活动区域内，打哈欠状态下的融合边缘的纵向跨度（即在规划区域的边缘向y轴的纵向投影）明显大于其他状态。融合边缘纵向投影比R_y可作为打哈欠判别特征。