[发明专利]基于深度学习的实时的列车驾驶员动作识别系统和方法

权利要求书

1.一种基于深度学习的实时的列车驾驶员动作识别系统，包括：摄像头采集模块，驾驶员关键部位检测模块，物体检测模块，动作匹配模块，监控预警模块，监控记录模块；其中动作匹配模块包括人类自身动作识别模块，人类环境交互动作识别模块；其特征在于：

摄像头采集模块用于采集驾驶室的监控画面；

驾驶员关键部位检测模块用于对画面中的司机，司机的头部和面部，司机的手部位置进行检测；

物体检测模块用于对驾驶室内关键物体，包括电话、司控器、机车操作显示屏、驾驶台的位置进行检测；

动作匹配模块利用物体检测模块检测到的物体位置信息，使用动作模板匹配的方法进行驾驶员动作识别，并将识别出的动作输出；

动作匹配模块包括人类自身动作识别模块和人类环境交互动作识别模块，其中，人类自身动作识别模块用于识别驾驶员自身的动作，人类环境交互动作识别模块用于识别驾驶员与环境交互的动作；

监控预警模块根据动作匹配模块输出的动作信息进行监控预警，而监控记录模块对实时监控的动作进行记录存储；其中，对驾驶员关键部位检测模块和物体检测模块进行离线深度学习进行训练。

2.根据权利要求1所述的一种基于深度学习的实时的列车驾驶员动作识别系统，其特征在于：人类自身动作包括坐着、站着或打手势。

3.根据权利要求1所述的一种基于深度学习的实时的列车驾驶员动作识别系统，其特征在于：识别驾驶员与环境交互的动作包括打电话或操作屏幕。

4.根据权利要求1所述的一种基于深度学习的实时的列车驾驶员动作识别系统，其特征在于：使用前面训练得到的检测模型直接检测出驾驶员，及其头部，手部和驾驶室内的关键目标作为动作识别模块的输入。

5.一种利用权利要求1所述的基于深度学习的实时的列车驾驶员动作识别系统进行列车驾驶员动作识别的方法，其特征在于：包括以下步骤：

步骤1、从摄像头采集监控画面；

步骤2、使用改进的tiny-yolo神经网络对驾驶员的关键部位和驾驶室的关键物体进行检测，并将将检测结果输出到动作识别模块中；

步骤3、对驾驶员自身的动作进行识别，该步骤中将驾驶员关键部位的检测结果利用空间的相互位置关系与动作模板库里的动作模板进行匹配；

步骤4、对驾驶员与环境交互的动作进行识别，该步骤中将驾驶员的关键部位与物体检测模型输出的关键物体位置进行比较，如果位置重合就识别出相应动作。