[发明专利]一种基于CLSTA的铁路司机行为识别方法

权利要求书

1.一种基于CLSTA的铁路司机行为识别方法，其特征在于，包括以下步骤：

步骤1：根据司机室内的环境和司机常见行为的特点，建立改进的时空注意力网络STA，并设计网络的拓扑结构；所述改进的时空注意力网络STA包括空间注意力子网络SA和时间注意力子网络TA；

步骤2：将空间注意力子网络SA和时间注意力子网络TA融合Main LSTM网络，得到新的CLSTA神经网络模型，并设计网络的拓扑结构；所述Main LSTM网络由Main CNN网络和两层LSTM网络级联组成；

步骤3：利用机车司机常见行为视频采集样本作为数据集，输入到所述CLSTA神经网络模型中，训练model；将得到的model运用于工控计算机中，进行机车司机行为的监测识别；

所述空间注意力子网络SA通过基于AlexNet网络的卷积神经网络CNN实现空间特征的提取，所述AlexNet网络包括五个卷积层和一个全连接层fc6，共六个学习层；所述空间注意力子网络SA为双流CNN结构，分别是CNN1和CNN2，用于分别提取当前图片流的空间特征，CNN1、CNN2各有六个学习层；CNN1处理的是当前帧的图片流x_t，将当前图片帧x_t输入到CNN1中；CNN2处理上一帧的图片x_t-1，将上一帧的图片x_t-1输入到CNN2中；再通过一个eltwise进行减法操作，将CNN1输出的特征维度减去CNN2的输出特征维度，eltwise层的输出接一个全连接层Fc_layer1中；

所述时间注意力子网络TA中为双流CNN+LSTM结构，分别是CNN1+LSTM1和CNN2+LSTM2，用于分别提取当前图片流的时序特征；将当前图片流x_t输入到CNN1中进行空间特征学习，再将CNN1的输出输入到LSTM1中进行时序学习；将当前的图片的上一帧图片x_t-1输入到CNN2中进行空间特征学习，再将CNN2的输出输入到LSTM2中进行时序学习；再通过一个eltwise层进行减法操作，将LSTM1输出的特征维度减去LSTM2输出的特征维度，接着将eltwise层的输出接入到一个全连接层Fc_layer2中。

2.根据权利要求1所述的基于CLSTA的铁路司机行为识别方法，其特征在于，所述步骤2的具体步骤包括：

步骤21：将当前图片流x_t输入到Main CNN中，提取当前图片流的空间特征；

步骤22：将空间注意力子网络SA的输出与Main CNN的输出融合，融合的方式是通过eltwise层做加法运算；

步骤23：将步骤22融合后输出的特征维度输入到Main LSTM网络中进行时序特征学习，所述Main LSTM网络由2层LSTM网络级联而成，LSTM1的输入即是步骤22的输出；再将LSTM1输出的特征维度输入到LSTM2中；

步骤24：将时间注意力子网络TA的输出与步骤23中的Main LSTM网络的输出进行融合，融合的方式是通过eltwise层做加法；融合后再接Fc_layer3，最后进行分类。

3.根据权利要求1所述的基于CLSTA的铁路司机行为识别方法，其特征在于，所述步骤3的具体步骤包括：

步骤31：通过工业摄像机采集环境视频；

步骤32：工控计算机中的脚本程序分解视频为图片帧，FPS为5；

步骤33：将分解的每连续16帧送入model中测试；

步骤34：输出测试结果，并制作报表。