[发明专利]基于深度融合神经网络的驾驶员视觉分散检测方法

权利要求书

1.基于深度融合神经网络的驾驶员视觉分散检测方法，其特征是，它包括以下步骤：

(1)获取驾驶员面部图像，采用局部二值特征(LBF)跟踪驾驶员的面部特征点；

(2)根据眼部区域的面部特征点的位置，定位并提取眼睛区域的图像；

(3)根据面部特征点位置，采用N点透视(PnP)算法估计头部姿态，获取驾驶员三个方向的头部姿态参数；

(4)首先，以驾驶员眼睛区域的RGB图像作为输入，构建卷积神经网络层、池化层和全连接层；然后，以头部姿态作为输入构建两层全连接神经网络，并将隐藏层与深度卷积神经网络的全连接层融合作为输出特征；在融合模型的顶层加入Softmax分类器，输出视线方向参数。

2.根据权利要求1所述的基于深度融合神经网络的驾驶员视觉分散检测方法，其特征是，在步骤(1)中，首先获取面部特征点的初始位置坐标，在训练阶段通过标定点和初始点的位置构建目标函数式中，i表示遍历所有的训练样本，操作符π_l从中提取分量(2l-1,2l)，表示第i个训练数据的第l个特征(共n个)点从初始坐标到真实标定坐标位置的2D偏移量，表示l个特征点局部位置的局部纹理特征，即LBF特征，LBF特征通过训练随机森林模型获得。

3.根据权利要求1所述的基于深度融合神经网络的驾驶员视觉分散检测方法，其特征是，步骤(1)中，在特征提取时，每个特征点都对应一个随机森林模型，输入到随机森林中的参数为形状索引特征，即在特征点位置区域中两个点的像素之差，在训练随机森林时，输入为X＝{I^m,S}，预测目标是Y＝ΔS，从随机选取的形状索引特征集合中提取其中一部分样本，将样本点分配到左右子树中；针对每个节点，训练数据被分为两个部分，我们期望左右子树中的样本具有相同的模式，即使方差的减少量最大(最大方差衰减)，即argmax(Var-Var_R-Var_L)，其中，Var表示决策树节点分裂前样本方差总和，Var_R和Var_L分别表示分裂后左右分支样本的方差；随机森林中每棵树节点的训练方法和过程均相同，且相互独立，在训练完成后，决策树中的每个叶子节点均保存一个2D的偏移量；将训练好的模型作为局映射函数输出一个二值序列，把每个点的二值序列串接起来组成整体形状的LBF特征。

4.根据权利要求1所述的基于深度融合神经网络的驾驶员视觉分散检测方法，其特征是，步骤(4)中，将提取的眼睛图片的大小转化为24×24大小,然后构建卷积神经网络模型，该神经网络层模型由5个卷积层、3个池化层和1个完全连接层组成；前两个卷积层的卷积核大小是32×5×5，第三层的卷积核大小是32×3×3，最后两个卷积层的卷积核大小是64×3×3；在第一、第三和第五卷积层中，卷积运算的边界模式相同，即卷积运算中输入和输出特征映射的维数一致；池化层采用最大池化策略对特征映射进行降维，所有池化层的降维比例均为2×2；最后，将池化层的特征转换为全连接层。

5.根据权利要求1所述的基于深度融合神经网络的驾驶员视觉分散检测方法，其特征是，步骤(4)中，头部姿态参数为二维矩阵，采用全连接神经网络对其特征进行提取，隐藏层的单元个数为32，计算公式与第一步相同。

6.根据权利要求1所述的基于深度融合神经网络的驾驶员视觉分散检测方法，其特征是，步骤(4)中，将卷积神经网络的全连接层和普通神经网络的隐藏层串接，构建融合的全连接层；最后，通过softmax分类器将全连接层连接到输出层，得到视线估计方向的输出结果。

7.根据权利要求1所述的基于深度融合神经网络的驾驶员视觉分散检测方法，其特征是，步骤(4)中，采用物体识别数据集CIFR-10和面部表情数据集FER2013数据集作为预训练数据集，对卷积神经网络部分进行监督预训练，得到深度模型的初始参数；然后将预训练得到的初始参数迁移到目标模型中，采用视线估计数据样本对深度模型进行精调，得到最终的识别模型。