[发明专利]一种基于三维卷积神经网络的驾驶员动作识别方法及装置

说明书

本发明实施例提供了一种基于三维卷积神经网络的驾驶员动作识别方法及装置，通过预设特征工程从对驾驶员拍摄的视频提取特征数据，由目标模型根据特征数据对驾驶员的行为进行识别。目标模型是通过对构建的三维卷积神经网络进行训练得到的，三维卷积神经网络包括多个依次连接的组合层结构，每一组合层结构包括卷积层和池化层。通过对三维卷积神经网络的结构进行改进，使得训练的目标模型对驾驶员的动作具有更准确的识别结果。另一方面，相对于采集面部特征，对驾驶员动作的采集不容易受到环境的干扰，且特征数据中包含了反应驾驶员动作随时间变化的光流特征，这种动作连续性的数据进一步提高了识别结果的准确性。

技术领域

本发明涉及轨道交通技术领域，尤其是涉及一种基于三维卷积神经网络的驾驶员动作识别方法及装置。

背景技术

在保障城市轨道交通的行车安全之中，驾驶员肩负着重要的责任，其准确的动作与清醒的意识往往决定着乘客运输的安全。较少的驾驶员配置、单调的驾驶动作和列车驾驶的高度自动化是驾驶员产生疲劳的重要原因，同时驾驶员个人生活习惯、工作量、工作时长也都会对驾驶员是否疲劳产生影响。一些传统的办法是通过完善管理制度和工作计划缓解列车驾驶员驾驶疲劳，列车“防睡死”装备也在一定程度上减轻了驾驶员的疲劳感，但是由于长时间驾驶，驾驶员可能因为习惯性动作对“防睡死”装备不敏感，该装备也无法实时监控驾驶员的疲劳状态。

现如今对疲劳实检测的方法主要可以分为基于生理信号的疲劳检测方法，基于车辆参数或驾驶行为的疲劳检测和基于机器视觉的疲劳检测。基于机器视觉的疲劳检测方法以其非接触、高效、准确的特点成为疲劳检测的主流方法。然而，在实际情况中，如果驾驶者佩戴眼镜或戴有帽檐的帽子，会对眼睛的图像分割与特征提取产生影响，如果驾驶者戴口罩或者戴墨镜等遮挡性物品，人眼部和嘴部就无法有效定位，其特征的提取也无法进行。手臂等类肤色干扰物也会影响算法的准确性。另一方面，轨道交通列车行驶过程中列车员有明确且区别于其他行业的轨道交通行业的行车规范，其中的规范动作识别问题尚未进行有效研究。

在实际应用过程中，现有的方法多根据对驾驶员面部采集的图像进行判断，容易受到遮挡或者环境的的影响，判断结果不准确。

发明内容

本发明实施例提供一种基于三维卷积神经网络的驾驶员动作识别方法及装置，用以解决现有技术中的方法多根据对驾驶员面部采集的图像进行判断，容易受到遮挡或者环境的的影响，判断结果不准确的问题。

针对以上技术问题，第一方面，本发明的实施例提供了一种基于三维卷积神经网络的驾驶员动作识别方法，包括：

获取在列车行驶过程中，对列车的驾驶员拍摄得到的视频；

根据所述视频通过预设特征工程提取用于对驾驶员的动作进行识别的特征数据；其中，所述特征数据中包括根据像素点的光流变化提取的光流特征；

将所述特征数据输入到目标模型中，由所述目标模型输出所述驾驶员的动作和预设动作相符的概率；

其中，所述目标模型通过对构建的三维卷积神经网络进行训练得到；所述三维卷积神经网络包括多个依次连接的组合层结构，每一组合层结构包括卷积层和池化层。

可选地，所述获取在列车行驶过程中，对列车的驾驶员拍摄得到的视频，包括：

在列车的行驶过程中，通过树莓派控制摄像机云台对摄像头的位置进行调整，使得驾驶员位于所述摄像头的拍摄范围内；

控制所述摄像头对驾驶员进行拍摄，得到所述视频；

其中，所述树莓派用于通过进行人脸识别与追踪的程序，对驾驶员的位置进行追踪，根据追踪的驾驶员的位置控制所述摄像机云台对摄像头的位置进行调整。

可选地，所述在列车的行驶过程中，通过树莓派控制摄像机云台对摄像头的位置进行调整，使得驾驶员位于所述摄像头的拍摄范围内，包括：