[发明专利]基于空间几何约束深度学习的疲劳状态识别方法

说明书

本发明涉及一种空间几何约束深度学习的疲劳状态识别方法。目前基于机器视觉的疲劳检测方法使用HOG、SHIT、Haar等人为定制的特征进行模式识别，在光照条件变化、部分遮挡、振动变化下检测精度有所下降。本发明建立建立基于人脸特征点定位和姿态回归任务协同的深度卷积神经网络模型，协同回归出人脸特征点定位和头部姿态估计，然后利用空间几何约束方法对卷积神经网络进行预训练，最后采用多特征融合的决策方法评估疲劳状态，检测结果具有良好的准确性和可靠性。这种使用非接触式的图像处理方法，仅仅需要常规摄像头对信号采集，设备简单，具有很好的实用性。

技术领域

本发明属于计算机图像处理领域，涉及一种深度学习算法的图像处理技术，根据对驾驶员面部信息的学习得出驾驶员疲劳程度的方法。

背景技术

当前，我国公路交通事业逐渐繁荣，汽车数量不断上升。随之到来的道路交通安全问题变得日益严重起来。根据公安部相关统计调查，由于疲劳驾驶导致的交通事故占总事故数的比例超过20％。美国国家交通安全管理局对于本国的最近几年调查显示，约有27％的受采访者有过开车打瞌睡的经历。由于驾驶疲劳导致的交通事故通常比一般交通事故要严重很多，通常为重大交通事故，驾驶员在事故中死亡概率较高，具体事故原因无法判断；为了逃避相关法律责任，当事人往往隐瞒疲劳驾驶的事实，当对事故原因进行深入调查时发现，交通事故中疲劳驾驶比例会上升至35％-45％，甚至更高。据有关研究表明，在发生交通事故前对司机进行提醒，可以成功避免交通事故的概率达90％左右。因此，对驾驶员的疲劳程度进行实时检测与预警，对避免交通事故的发生具有重要的意义。

疲劳驾驶是导致道路交通事故的主要原因之一，如何有效对驾驶员疲劳状态进行检测和预警已成为世界各国科学家的研究热点。与基于生理参数的疲劳检测方法相比，基于图像处理的非接触式检测方法交互方便且自然，日益受到广泛关注，但在光照变化、部分遮挡、振动等复杂环境下如何有效地提高疲劳检测的准确率和稳定性，仍然需要深入探索。

发明内容

本发明针对现有基于传统图像处理算法进行疲劳检测的不足，提供一种基于空间几何约束深度学习的疲劳状态识别方法。

近年，深度学习技术发展迅猛，尤其是在图像处理领域如目标检测、物体跟踪、人脸识别、场景理解等等取得了很多突破性进展。深度的网络结构有较强的特征学习能力，对光照、遮挡、振动等等表现鲁棒性。本发明进行汽车驾驶疲劳检测的方法基于深度学习与多任务协同的图像处理技术，结合空间几何约束的方法对深度学习网络进行预训练，使得系统具有高效性和鲁棒性等优点。另外，利用融合决策的思想，选取表征疲劳驾驶的非常关键的指标：眼睛状态、嘴巴状态和头部姿态进行融合得到驾驶员的疲劳程度，检测结果具有可靠性。这种使用非接触式的图像处理方法，仅仅需要常规摄像头对信号采集，设备简单，具有很好的实用性。

为了实现以上目的，本发明方法主要包括以下步骤：

步骤(1)对摄像头采集的驾驶员头部图像进行人脸检测，得到人脸区域图像；

步骤(2)建立基于人脸特征点定位和姿态回归任务协同的深度卷积网络模型，相应的目标函数如式(1)，以人脸区域图像数据作为网络输入，将人脸特征点定位和姿态估计两个任务协同优化，同时回归得到人脸特征点坐标和姿态角度值；