[发明专利]一种地铁司机车载驾驶行为分析方法、车载终端及系统

权利要求书

1.一种地铁司机车载驾驶行为分析方法，其特征在于，包括：

S1，构建地铁司机的车载驾驶行为数据库，包括驾驶动作数据库和面部状态数据库；

S2，基于所述车载驾驶行为数据库，采用深度学习的方法通过训练分别获得司机驾驶动作识别模型和司机面部状态识别模型；

S3，采集地铁司机的实时工作视频并按照预设的帧率提取出连续的多帧图像；

S4，获取所述连续的多帧图像中司机的驾驶动作轨迹，利用所述司机驾驶动作识别模型对所述驾驶动作轨迹进行识别，判断司机的驾驶动作是否合规；并利用所述司机面部状态识别模型对所述连续的多帧图像中的司机面部状态进行识别，检测司机的面部状态是否正常；

其中，所述步骤S1进一步包括：

S11，使用红外视觉传感器采集地铁司机的标准工作视频，并在采集过程结束后从所述标准工作视频中均匀提取出图像帧，对所述图像帧中司机双手位置坐标点以及时间戳进行标注，将标注后的图像帧进行保存，生成驾驶动作数据库；

S12，使用摄像机无间断拍摄地铁司机的工作视频并按一定帧率截取成图像，从所截取的图像中筛选出可辨别司机面部状态的有效图片进行保存，生成面部状态数据库；

其中，对所述图像帧中司机双手位置坐标点以及时间戳进行标注的步骤，具体为：先采用人工标注再利用无监督学习算法实现机器自动标注所述图像帧中司机双手位置坐标点和时间戳；

其中，所述步骤S2进一步包括：

S21，基于所述驾驶动作数据库，采用基于时序的动作识别方法通过训练获得司机驾驶动作识别模型；

S22，构建用于状态辨识的深度学习网络模型，并利用所述面部状态数据库对所述用于状态辨识的深度学习网络模型进行训练，获得司机面部状态识别模型；

其中，所述步骤S21进一步包括：

S211，针对同一个动作，将所述驾驶动作数据库中所有描述该动作的图像帧提取出来，重复训练所述动作多次；

其中，驾驶动作数据库中的图像帧均对司机双手位置坐标点以及时间戳进行了标注，记为：

R_t＝{R_x，R_y，t}；L_t＝{L_x，L_y，t} (1)，

其中，R_t为双手位置坐标点，L_t为时间戳；

S212，将该动作过程中的任一时刻的双手轨迹点记为多次训练获得的均值，并将所述双手轨迹点按时间顺序记录在一张图片上，生成轨迹图，所述轨迹图记载了该动作时间序列的所有轨迹点，并对所述轨迹图中各轨迹点的位置设置阈值；

其中，轨迹图中各轨迹点的坐标和时间戳表示如下：

其中，K为训练次数；

S213，重复步骤S211和S212，直至完成所述驾驶动作数据库中所有动作的训练。

2.根据权利要求1所述的方法，其特征在于，步骤S22中所构建的用于状态辨识的深度学习网络模型包括：

顺序连接的第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第四卷积层、第三池化层、第五卷积层、第六卷积层、第四池化层、第七卷积层、第八卷积层、第五池化层、全连接层、Softmax输出层和自编码器。

3.根据权利要求2所述的方法，其特征在于，步骤S22中利用所述面部状态数据库对所述用于状态辨识的深度学习网络模型进行训练，获得司机面部状态识别模型的步骤进一步包括：

从所述面部状态数据库中取出连续多帧图片输入所述第一卷积层开始进行卷积计算；

将所述全连接层的输出向量经激活函数计算得到预测值，使用交叉熵损失函数计算所述预测值与真实值的损失函数值，并最小化损失函数值；

通过随机梯度下降法不断调整网络权重和偏置并重新计算损失函数值，直至损失函数值趋于稳定或到达设定的迭代次数，获得分类后的图片特征；

将所述分类后的图片特征输入所述自编码器进行编码压缩，抽象出深度特征，再通过解码重构输入的图片特征，通过反向传播算法不断迭代训练，直至自编码器学习的误差小于预设阈值时完成训练；

将训练完成的所述深度学习网络模型的结构和参数固化，获得司机状态识别模型。