[发明专利]一种基于信息融合的固定岗位人员疲劳检测方法

说明书

本发明公开了一种基于信息融合的固定岗位人员疲劳检测方法，解决了单路视频下疲劳特征检测及决策级信息融合问题。首先采用回归树方法对输入图像进行人脸标定，实现高精度的人脸检测；然后，对检测到的人脸采用基于级联卷积神经网络人眼特征点定位技术，实现眼部和嘴部特征点的精确检测，通过对视频的多帧图像特征点进行分析，分别计算PERCLOS参数，眨眼频率以及哈欠频率。接着，采用基于ASM局部定位和人脸特征三角形的方法实现头部姿态估计，从而计算点头频率。最后，采用基于粗糙集理论的信息融合算法实现固定岗位人员的疲劳检测。

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于信息融合的固定岗位人员疲劳检测方法。

背景技术

随着计算机以及人工智能技术的发展，越来越多的人更多的从事脑力劳动，比如IT行业工作人员，驾驶员，情报人员等。当面对着枯燥乏味，压力或者责任重大的工作时，容易产生注意力分散，精神疲劳，工作效率降低甚至出现操作失误导致安全隐患。疲劳检测技术能够有效的对这一类作业人员疲劳状态做出警示，以便于提高工作效率，降低安全隐患。

目前，多数疲劳检测算法特别是眼部疲劳特征检测算法采用边缘检测或者阈值分割的方法计算眼部闭合情况。这些算法虽然计算简单，但是受光照影响较大，鲁棒性较差。因此，最终的疲劳检测结果虚警率过高，不能够满足实际产品需求。

发明内容

针对现有技术的不足，本发明公开了一种基于信息融合的固定岗位人员疲劳检测方法，包括如下步骤：

步骤1，对输入图像进行预处理；

步骤2，采用基于HOG特征级联分类器的人脸检测算法实现人脸的检测；梯度方向直方图(HOG，Histogram of Oriented Gradient)是通过计算图像局部梯度方向和梯度强度分布获得，然后利用训练好的级联分类器实现人脸检测。HOG特征提取实现算法流程：1)灰度化；2)采用Gamma校正法对输入图像进行颜色空间的标准化(归一化)；目的是调节图像的对比度，降低图像局部的阴影和光照变化所造成的影响，同时可以抑制噪音的干扰；3)计算图像每个像素的梯度(包括大小和方向)；主要是为了捕获轮廓信息，同时进一步弱化光照的干扰。4)将图像划分成小元胞；5)统计每个元胞的梯度直方图(不同梯度的个数)，即可形成每个元胞的描述算子；6)将每几个元胞组成一个块，一个块内所有元胞的特征描述算子串联起来便得到该块的HOG特征描述算子。7)将图像内的所有块的HOG特征描述算子串联起来就可以得到图像目标的HOG特征。

步骤3，在人脸检测的基础上，采用核相关滤波(KCF)目标跟踪算法(Henriques JF,Caseiro R,Martins P,et al.High-Speed Tracking with Kernelized CorrelationFilters[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2015,37(3):583-596.)实现人脸的跟踪，获得跟踪区域图像；

步骤4，对于获得的跟踪区域图像，利用回归树集合算法(Kazemi V,SullivanJ.One millisecond face alignment with an ensemble of regression trees[C]//IEEE Conference on Computer Vision and Pattern Recognition.IEEE ComputerSociety,2014:1867-1874.)，对人脸进行标定和分割；

步骤5，对分割的人脸采用基于级联卷积神经网络人眼特征点定位技术对人眼以及嘴部特征点进行检测(赵雪鹏,孟春宁,冯明奎,等.基于级联卷积神经网络的疲劳检测[J].光电子·激光,2017(5):497-502.)；

步骤6，根据检测到的人眼部和嘴部特征点计算此时的闭合程度，根据设定阈值判断这一帧图像中人脸眼睛闭合状态和嘴部打哈欠状态；