[发明专利]一种基于Kinect的轨道列车驾驶员状态的实时监测预警方法与系统

权利要求书

1.一种基于Kinect的轨道列车驾驶员状态的实时监测预警方法，其特征在于，包括以下步骤：

步骤1：利用设置于驾驶室前方的Kinect传感器采集阵列采集轨道列车驾驶员工作状态信息；

所述轨道列车驾驶员工作状态信息包括轨道列车驾驶员彩色图像数据、深度数据、骨骼图像数据以及语音数据；

步骤2：对轨道列车驾驶员工作状态信息进行数据处理；

对采集到的轨道列车驾驶员彩色图像进行轨道列车驾驶员心率检测；

对采集到的轨道列车驾驶员彩色图像进行身份识别，同时，从提取的面部特征中的眼部区域特征，识别闭眼动作，获得闭眼时间占连续驾驶时间的比例PERCLOS值；

对采集到的轨道列车驾驶员骨骼图像数据和深度数据进行手势识别与匹配，获得轨道列车驾驶员发出的手势指令信号；

对采集到的轨道列车驾驶员语音数据进行语音关键词提取，并结合面部特征中的唇部区域特征，识别出唇部动态动作，将语音关键词和唇部动态动作进行特征融合匹配，获取轨道列车驾驶员发出的语音指令信号；

步骤3：对步骤2的数据处理结果进行预警；

若轨道列车驾驶员心率数据超过人体正常心率阈值，发出预警信号，并将预警信息上报监控中心；

利用轨道列车驾驶员年龄、心率、连续驾驶时间以及连续驾驶时间内的PERCLOS值输入轨道列车驾驶员疲劳驾驶状态模型，得到轨道列车驾驶员疲劳状态，若轨道列车驾驶员处于疲劳状态，则发出预警信号，并将预警信息上报监控中心；

若列车信号指令信号、识别的手势指令信号和语音指令信号不匹配时，则发出预警信号，并将预警信息上报监控中心。

2.根据权利要求1所述的方法，其特征在于，所述Kinect传感器采集阵列由3组相同的Kinect传感器组成，3组Kinect传感器依次排列在一个内角分别为55°、125°的等腰梯形装置上。

3.根据权利要求1或2所述的方法，其特征在于，所述轨道列车驾驶员疲劳驾驶状态模型的构建过程如下：

将采集的历史数据中的至少1000组轨道列车驾驶员年龄、心率、连续驾驶时间以及连续驾驶时间内的PERCLOS值和对应的轨道列车驾驶员疲劳状态作为训练数据，以轨道列车驾驶员年龄、心率、连续驾驶时间以及连续驾驶时间内的PERCLOS值作为神经网络中输入层神经元，以轨道列车驾驶员的疲劳状态作为输出层神经元，预设隐藏层神经元个数，不断的对神经网络进行训练，自适应调整神经网络权值，获得轨道列车驾驶员疲劳驾驶状态模型。

4.一种基于Kinect的轨道列车驾驶员状态的实时监测预警系统，其特征在于，包括：

Kinect传感器采集阵列，用于采集轨道列车驾驶员工作状态信息并将采集的信息发送至数据处理模块；

所述轨道列车驾驶员工作状态信息包括轨道列车驾驶员彩色图像数据、深度数据、骨骼图像数据以及语音数据；

数据处理模块，用于对采集的轨道列车驾驶员工作状态信息进行检测和识别，同时将检测和识别结果发送至预警装置；

所述数据处理模块包括Kinect传感器心率检测模块、Kinect传感器面部图像处理模块、Kinect传感器手势识别模块及Kinect传感器语音识别模块；

所述检测和识别结果包括轨道列车驾驶员心率、身份识别结果、闭眼时间占连续驾驶时间的比例PERCLOS值、手势指令信号和语音指令信号；

预警装置，用于依据数据处理模块得到的检测和识别结果数据进行预警；

若轨道列车驾驶员心率数据超过人体正常心率阈值，发出预警信号，并将预警信息上报监控中心；

利用轨道列车驾驶员年龄、心率、连续驾驶时间以及连续驾驶时间内的PERCLOS值输入轨道列车驾驶员疲劳驾驶状态模型，得到轨道列车驾驶员疲劳状态，若轨道列车驾驶员处于疲劳状态，则发出预警信号，并将预警信息上报监控中心；

若列车信号指令信号、识别的手势指令信号和语音指令信号不匹配时，则发出预警信号，并将预警信息上报监控中心。

5.根据权利要求4所述的系统，其特征在于，所述Kinect传感器采集阵列由3组相同的Kinect传感器组成，将3组Kinect传感器依次排列在一个内角分别为55°、125°的等腰梯形装置上。

6.根据权利要求4或5所述的系统，其特征在于，所述处理模块对采集的信息处理过程如下：

所述Kinect传感器心率检测模块对采集到的轨道列车驾驶员彩色图像进行轨道列车驾驶员心率检测；

所述Kinect传感器面部图像处理模块对采集到的轨道列车驾驶员彩色图像进行身份识别，同时，从提取的面部特征中的眼部区域特征，识别闭眼动作，获得闭眼时间占连续驾驶时间的比例PERCLOS值；

所述Kinect传感器手势识别模块对采集到的轨道列车驾驶员骨骼图像数据和深度数据进行手势识别与匹配，获得轨道列车驾驶员发出的手势指令信号；

所述Kinect传感器语音识别模块对采集到的轨道列车驾驶员语音数据进行语音关键词提取，并结合面部特征中的唇部区域特征，识别出唇部动态动作，将语音关键词和唇部动态动作进行特征融合匹配，获取轨道列车驾驶员发出的语音指令信号。