[发明专利]一种基于多层特征融合的卷积神经网络打哈欠行为识别方法及装置

说明书

本发明公开了一种基于多层特征融合的卷积神经网络打哈欠行为识别方法，包含如下步骤：步骤1，采集驾驶员在驾驶状态下的面部视频帧图像作为样本；步骤2，采用人脸检测算法对所述面部视频帧图像进行人脸区域定位，提取出人脸图像，步骤3，对样本进行分类，步骤4，训练基于ShuffleNetV2网络修改的多层特征融合的卷积神经网络，直到在测试集上精度达到最优；步骤5，打哈欠张嘴识别检测。本发明通过基于ShuffleNeV2网络结构设计的多层特征融合的卷积神经网络来端到端的打哈欠张嘴识别，解决了打哈欠识别算法逻辑复杂且精度不高的问题。

技术领域

本发明涉及智能交通研究领域，尤其是涉及图像识别和疲劳驾驶领域，具体涉及一种基于多层特征融合的卷积神经网络打哈欠行为识别方法及装置。

背景技术

随着人民生活水平的提高和汽车行业的发展，乘车出行或者驾车出行已经成为一种优先选择的交通方式。车辆出行频次的增加，也一定程度上增加了交通事故发生的概率。据不完全统计，大部分交通事故的发生是由于驾驶员疲劳，注意力不集中导致的。因此有效的检测疲劳驾驶行为及时预防，有利于减少交通事故的发生。疲劳驾驶检测技术可以大致分为基于驾驶人行为的分析和基于视觉的分析。近年来随着人工智能技术的进步，基于视觉的疲劳驾驶检测技术受到越来越多的关注。打哈欠作为疲劳的一个关键性特征，打哈欠识别的准确度高低会给疲劳检测带来极大的影响。

现有的大多方法均是先定位到嘴部区域，然后通过分析嘴部区域的特征来进行打哈欠识别。该种方法存在两个主要的问题：第一，从算法效率上来说，要先定位脸部区域，然后再定位嘴部区域算法复杂度高。第二，打哈欠是一个面部表情，单纯的依赖于嘴部区域特征容易和说话、惊恐等表情混淆，影响算法的准确度。马素刚,赵琛,孙韩林等人的“一种基于卷积神经网络的哈欠检测算法”《计算机科学》中提出把驾驶员面部图片直接送入到一个卷积神经网络中进行打哈欠识别，但是只是提取了卷积神经网络的高层特征进行识别，丢失了低层的边缘特征和中层的具体特征，打哈欠识别的精度受到了影响。本发明结合了卷积神经网络的多层特征进行打哈欠张嘴行为识别，同时结合一个序列的分析结果，综合判断是否打哈欠，最终提高了打哈欠识别的精度。因此，现有的方法中打哈欠识别算法实现逻辑复杂，需要先定位脸部区域再定位嘴部区域然后进行识别，且该解决方案的精度不高，有些方法对于卷积神经网络的特征挖掘的不够，影响打哈欠识别的精度。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种基于多层特征融合的卷积神经网络打哈欠行为识别方法及装置，该方法解决了打哈欠识别算法逻辑复杂且精度不高的问题。

为达到上述目的，本发明是通过以下的技术方案来实现的。

步骤1，采集驾驶员在驾驶状态下的面部视频帧图像作为样本。

步骤2，采用人脸检测算法对采集到的视频帧图像进行人脸区域定位，根据人脸检测算法给出的人脸坐标(X，Y，W，H)，提取出人脸图像，其中(X，Y) 表示人脸图像左上角的点，W，H分别对应人脸图像的宽和高；优选的，人脸检测算法采用高效快速的人脸检测算法MTCNN。

步骤3，挑选出非打哈欠状态下驾驶员的人脸图像，非打哈欠状态包括：面无表情、讲话、微笑等，将这类图片归到同一个文件夹作为类别0，挑选出打哈欠状态下驾驶员的面部图像，作为类别1。

步骤4，训练基于ShuffleNetV2网络修改的多层特征融合的打哈欠张嘴识别的卷积神经网络，直到在测试集上精度达到最优。

所述基于ShuffleNetV2网络修改的多层特征融合的打哈欠张嘴识别的卷积神经网络的结构具体如下：选用ShuffleNetV2网络作为打哈欠识别的基准网络架构，针对现有技术中存在的只关注高阶特征，而忽略浅层的细节特征，训练 Loss设计单一，影响精度问题，同时为了适应嵌入式端运行的速度要求对 ShuffleNetV2网络修改如下：