[发明专利]基于深度融合神经网络的驾驶员视觉分散检测方法

说明书

基于深度融合神经网络的驾驶员视觉分散检测方法，用于实时检测驾驶员的视线注意力。它包括以下步骤：(1)获取驾驶员面部图像，采用局部二值特征(LBF)跟踪驾驶员的面部特征点；(2)根据眼部区域的面部特征点的位置，定位并提取眼睛区域的图像；(3)根据面部特征点位置，采用N点透视(PnP)算法估计头部姿态，获取驾驶员三个方向的头部姿态参数；(4)基于深度混合神经网络的驾驶员视线方向估计。本发明可有效实现对驾驶员注意力的检测。

技术领域

本发明涉及车辆驾驶技术领域，具体地说是一种基于深度融合神经网络 的驾驶员视觉分散检测方法。

背景技术

目前，驾驶员视觉分散驾驶是导致交通事故发生的主要因素。根据国家公 路交通安全管理局的研究表明，驾驶员注意力分散引起的交通事故占比在百 分之七十以上。驾驶员视觉分散驾驶是指驾驶员的视觉注意力从专注于道路 和驾驶操作转移到其他的行为上，比如看手机、看文件、打电话、吃饭和操 作车载电子设备等。有研究表明，在驾驶过程中进行其他与驾驶无关的任务 时会加重驾驶员的认知负荷，而且随着手机和汽车电子设备的功能越来越多， 这种现象愈加频繁，也就导致了分心驾驶出现的频率越来越高。当驾驶员认 知负荷增加时会体现在驾驶员的视觉行为和驾驶行为上。因此通过监视驾驶 员的视线方向能够有效的对驾驶员注意力进行监控。避免驾驶员视觉分散导 致的危险。

采用机器视觉的技术手段实时监测复杂驾驶环境下的驾驶员视觉状态是 非常具有挑战性的。难点主要包括：(1)白天和黑夜等复杂的光照条件；(2) 驾驶员的头部姿态和表情的多样性；(3)人种，年龄和性别的差异性；(4)驾 驶员头发遮挡和穿戴眼镜对检测精度的影响。目前商用检测系统FaceLAB使用 眼动仪监测驾驶员的视线，眼睑、瞳孔大小和头部姿态。这套系统成功应用 于多个实际的辅助驾驶员场景中，但是该系统是基于立体视觉模型检测的， 需要复杂的初始化程序和高昂的成本，难以量产和推广。类似的，SmartEye使用多摄像头构建驾驶员的三维头部模型来计算驾驶员的视线，头部姿态和 眼睑状态。然而该系统对硬件依赖非常的高，需要在车上额外安装硬件设施， 极大的约束了系统的可移植性。因此，这类系统都很难在普通汽车上安装使 用。

发明内容

本发明的目的在于提供一种基于深度融合神经网络的驾驶员视觉分散检 测方法，用于实时检测驾驶员的视线注意力。

本发明解决其技术问题所采取的技术方案是：基于深度融合神经网络的驾 驶员视觉分散检测方法，其特征是，它包括以下步骤：

(1)获取驾驶员面部图像，采用局部二值特征(LBF)跟踪驾驶员的面部 特征点；

(2)根据眼部区域的面部特征点的位置，定位并提取眼睛区域的图像；

(3)根据面部特征点位置，采用N点透视(PnP)算法估计头部姿态，获取 驾驶员三个方向的头部姿态参数；

(4)首先，以驾驶员眼睛区域的RGB图像作为输入，构建卷积神经网络 层、池化层和全连接层；然后，以头部姿态作为输入构建两层全连接神经网 络，并将隐藏层与深度卷积神经网络的全连接层融合作为输出特征；在融合 模型的顶层加入Softmax分类器，输出视线方向参数。

进一步地，步骤(1)中，首先获取面部特征点的初始位置坐标，在训练 阶段通过标定点和初始点的位置构建目标函数式 中，i表示遍历所有的训练样本，操作符π_l从中提取分量(2l-1,2l)，表 示第i个训练数据的第l个特征(共n个)点从初始坐标到真实标定坐标位置 的2D偏移量，表示l个特征点局部位置的局部纹理特征，即LBF特征，LBF 特征通过训练随机森林模型获得。