[发明专利]一种基于三维卷积神经网络的驾驶员动作识别方法及装置

权利要求书

1.一种基于三维卷积神经网络的驾驶员动作识别方法，其特征在于，包括：

获取在列车行驶过程中，对列车的驾驶员拍摄得到的视频；

根据所述视频通过预设特征工程提取用于对驾驶员的动作进行识别的特征数据；其中，所述特征数据中包括根据像素点的光流变化提取的光流特征；

将所述特征数据输入到目标模型中，由所述目标模型输出所述驾驶员的动作和预设动作相符的概率；

其中，所述目标模型通过对构建的三维卷积神经网络进行训练得到；所述三维卷积神经网络包括多个依次连接的组合层结构，每一组合层结构包括卷积层和池化层；

其中，所述根据所述视频通过预设特征工程提取用于对驾驶员的动作进行识别的特征数据，包括：

按照时间顺序，从所述视频中提取数量等于预设数量的视频帧，得到视频帧集合；

对所述视频帧集合中的任一第一视频帧，从所述第一视频帧中分别提取由每一原色组成的原色图像，根据各原色图像提取所述第一视频帧对应的原色特征，并根据所述第一视频帧对应的第一灰度图像提取所述第一视频帧对应的灰度特征；

根据所述第一灰度图像中各像素点在第一方向上的像素值变化确定各像素点的第一梯度，根据所述第一灰度图像中各像素点在第二方向上的像素值变化确定各像素点的第二梯度，将各像素点对应的第一梯度和第二梯度作为所述第一视频帧对应的梯度特征；

对所述第一灰度图像中的任一第一像素点，在第二灰度图像中确定与所述第一像素点位置对应的第二像素点，根据在所述第二灰度图像中与所述第二像素点临近的各像素点确定所述第一像素点对应的光流变化数据，将所述第一灰度图像中各像素点对应的光流变化数据作为所述第一视频帧对应的光流特征；

将所述视频帧集合中的各视频帧对应的原色特征、灰度特征、梯度特征和光流特征作为所述特征数据；

其中，所述第二灰度图像为所述第一视频帧的下一视频帧对应的灰度图像。

2.根据权利要求1所述的基于三维卷积神经网络的驾驶员动作识别方法，其特征在于，所述对所述第一灰度图像中的任一第一像素点，在第二灰度图像中确定与所述第一像素点位置对应的第二像素点，根据在所述第二灰度图像中与所述第二像素点临近的各像素点确定所述第一像素点对应的光流变化数据，包括：

对所述第一灰度图像中的任一第一像素点，在第二灰度图像中确定与所述第一像素点位置对应的第二像素点；

在所述第二灰度图像中获取相对于所述第二像素点沿着所述第一方向移动第一预设距离且在所述第二方向上不变的第三像素点，计算所述第三像素点和所述第一像素点的像素值之差，作为所述第一像素点在所述第一方向的光流变化数据；

在所述第二灰度图像中获取相对于所述第二像素点在所述第一方向上不变且沿着所述第二方向移动第二预设距离的第四像素点，计算所述第四像素点和所述第一像素点的像素值之差，作为所述第一像素点在所述第二方向的光流变化数据；

将所述第一像素点在所述第一方向的光流变化数据和在所述第二方向的光流变化数据，作为所述第一像素点对应的光流变化数据。

3.根据权利要求1所述的基于三维卷积神经网络的驾驶员动作识别方法，其特征在于，对所述目标模型的训练包括：

对每一预设动作，获取驾驶员执行所述预设动作时拍摄的视频，作为样本视频；

将根据所述样本视频，通过所述预设特征工程提取的特征数据作为样本特征数据，将输出的与所述预设动作相符的概率大于预设概率的结果作为期望输出；

通过若干组样本数据和所述期望输出对所述三维卷积神经网络进行训练，得到所述目标模型。

4.根据权利要求3所述的基于三维卷积神经网络的驾驶员动作识别方法，其特征在于，所述通过若干组所述样本数据和所述期望输出对所述三维卷积神经网络进行训练，得到所述目标模型，包括：

通过若干组样本数据和所述期望输出对所述三维卷积神经网络进行训练，根据由训练后的所述三维卷积神经网络输出的与各预设动作相符的概率和期望输出计算训练的所述三维卷积神经网络的准确率，若准确率大于或等于预设准确率，则将训练的所述三维卷积神经网络作为所述目标模型，否则，继续对所述三维卷积神经网络进行训练，直到准确率大于或等于所述预设准确率。