[发明专利]一种基于CLSTA的铁路司机行为识别方法

说明书

本发明公开一种基于CLSTA的铁路司机行为识别方法，提出了一种CLSTA神经网络模型，并将CLSTA网络移植到工控电脑中，利用司机室内的监控视频对机车司机的行为进行识别和理解，实时监测和智能评估机车司机的驾驶行为和驾驶状态；利用卷积神经网络CNN和长短记忆神经网络LSTM对机车司机行为的视频图像进行空间特征学习和时序特征学习，并考虑到司机室内环境单一，肢体动作对于整个场景而言变化甚微，针对这种现状，提出了改进的时空注意力方法STA，通过大量数据集训练得到神经网络模型，最后将该模型运用于工控电脑中，分析机车司机驾驶过程中的常见行为和异常行为，例如疲劳驾驶、玩手机、抽烟等，最后实现对机车司机行为理解的目的。

技术领域

本发明涉及铁路行车安全检测技术领域，具体为一种基于CLSTA(ConvolutionalLSTM Networks With Spatial-Temporal Attention具有时空注意力的LSTM卷积神经网络))的铁路司机行为识别方法。

背景技术

我国铁路的建设事业正在进入以“跨越式发展”为特征的高速发展时期，机车运行安全保障技术提出了更高的要求。如何确保机车的平稳运行己经成为铁路运输部门工作的重中之重，进和提高铁路机务部门对机车运行安全的监控管理水平已经成为当务之急。

众所周知，突发性的设备故障例如机车车辆切轴、线路断轨等或自然灾害外，列车运行安全最大的威胁来自于列车运行信号是否正确指示和司机是否正确操纵机车。从以往发生的列车冲突、追尾、超速引起列车颠覆等重大行车事故的直接原因看，车信号显示错误或司机失去警惕导致错误操纵列车占主要比例。我国铁路系统事故统计表明，车事故的人为因素中有相当一部分是由于司乘人员的操作不当引起。其中，驶员的驾驶行为不当，疲劳驾驶、睡觉、违规操作、不良驾驶习惯等是引起行车安全事故的重要原因之一。列车司机因运输生产任务繁重，工作环境艰苦，作息时间不规则，常年处于高强负荷、高度紧张、高速运转的状态中，在驾驶过程中也极易出现其他不正当操作。

我国铁路的行车安全监测近年来取得了长足的进步，但与发达国家相比还有较大的差距，主要体现在监测各类信息的准确性、实时性差，对司机个人的工作状态没有识别、报警，系统功能不能满足要求等。实时监测和智能评估机车司机的驾驶行为和驾驶状态，有助于及早发现可能的操作失误，对减少安全事故及人员伤亡有着十分重要的现实意义。该系统能够帮助司机更加专注于驾驶机车，测评出司机在驾驶过程中的驾驶行为，在其出现疲劳驾驶或者异常操作时能够发出警报，使其能够更加安全的操控机车。同时该系统还可以为地面管理部门提供机车运行动态数据的实时监控，在异常发生的情况下对机车司机的工作状态进行实时的监督和全程的记录，时掌握非正常状况下整个机车的运行状况，提高对机车运行安全的监管能力。

发明内容

针对上述问题，本发明的目的在于提供一种利用司机室内的监控视频对机车司机的行为进行识别和理解，实时监测和智能评估机车司机的驾驶行为和驾驶状态的基于CLSTA的铁路司机行为识别方法。技术方案如下：

一种基于CLSTA的铁路司机行为识别方法，其特征在于，包括以下步骤：

步骤1：根据司机室内的环境和司机常见行为的特点，建立改进的时空注意力网络STA，并设计网络的拓扑结构；所述改进的时空注意力网络STA包括空间注意力子网络SA和时间注意力子网络TA；

步骤2：将空间注意力子网络SA和时间注意力子网络TA融合Main LSTM网络，得到新的CLSTA神经网络模型，并设计网络的拓扑结构；所述Main LSTM网络由Main CNN网络和两层LSTM网络级联组成；

步骤3：利用机车司机常见行为视频采集样本作为数据集，输入到所述CLSTA神经网络模型中，训练model；将得到的model运用于工控计算机中，进行机车司机行为的监测识别。