[发明专利]一种基于Kinect的轨道列车驾驶员状态的实时监测预警方法与系统有效
申请号: | 201710470384.7 | 申请日: | 2017-06-20 |
公开(公告)号: | CN107126224B | 公开(公告)日: | 2018-02-06 |
发明(设计)人: | 刘辉;李燕飞 | 申请(专利权)人: | 中南大学 |
主分类号: | A61B5/18 | 分类号: | A61B5/18;A61B5/0205;A61B5/11;G06K9/62;G06K9/00;G10L15/22;G10L15/26 |
代理公司: | 长沙市融智专利事务所43114 | 代理人: | 龚燕妮 |
地址: | 410083 湖南*** | 国省代码: | 湖南;43 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 kinect 轨道 列车 驾驶员 状态 实时 监测 预警 方法 系统 | ||
技术领域
本发明属于轨道交通控制领域,特别涉及一种基于Kinect的轨道列车驾驶员状态的实时监测预警方法与系统。
背景技术
列车行驶过程中,列车驾驶员的生理状态对列车的安全运行有很大的影响。列车驾驶员的生理状态主要包括生理健康状态和疲劳状态。根据交通事故统计年鉴,约15-20%的铁路交通事故和驾驶疲劳有关,疲劳驾驶严重影响列车驾驶员的警觉性、应变性及安全驾驶能力。为了防范疲劳驾驶带来的轨道列车安全隐患,驾驶室里的司机脚下有一个按钮,要求司机在一定时间内就得踩一次,一旦超出规定时间没有踩,该按钮就会发出警示,提示司机做出反应。如果司机在几秒之内没有做出回应,列车就会自动减速停车。轨道列车操作繁琐,信号种类多,司机常常要手眼口并用,因此必须集中高度的注意力,现有的装置要求司机在一定的时间内对警示装置做出反应,容易分散司机的注意力。同时随着高速铁路规模的扩大,驾驶员工作强度增大,对驾驶员的生理健康监测引起了人们越来越大的重视。
列车驾驶员工作强度大,注意力要求高度集中,为了避免司机误操作,当遇上车门开关、开车、停车、通过车站、遇上速度限制和识别不同的铁路信号时,司机使用相关操作手势并说出对应指令。这种方式虽然在一定程度让司机减少误判情况,但是缺少纠错机制和反馈机制,不能从根本上完全消除误判情况。
发明内容
本发明提供了一种基于Kinect的轨道列车驾驶员状态的实时监测预警方法与系统,其目的在于,利用Kinect传感器阵列采集轨道列车驾驶员的综合驾驶状态,从根本上完全消除司机看错误判信号和指令的情况,实现了对轨道列车轨道列车驾驶员驾驶状态的识别、监测预警。
一种基于Kinect的轨道列车驾驶员状态的实时监测预警方法,包括以下步骤:
步骤1:利用设置于驾驶室前方的Kinect传感器阵列采集轨道列车驾驶员工作状态信息;
所述轨道列车驾驶员工作状态信息包括轨道列车驾驶员彩色图像数据、深度数据、骨骼图像数据以及语音数据;
步骤2:对轨道列车驾驶员工作状态信息进行数据处理;
对采集到的轨道列车驾驶员彩色图像进行轨道列车驾驶员心率检测;
对采集到的轨道列车驾驶员彩色图像进行面部特征提取,采用欧拉视频放大方法,读取每帧面部特征图像的RGB代表像素,利用带通滤波器对RGB代表像素进行滤波处理,并对滤波后的像素进行PCA分析(主元分析)和光谱分析,读取轨道列车驾驶员心率,并将心率数据发送给心率监测预警模块和疲劳监测预警模块;
对采集到的轨道列车驾驶员彩色图像进行身份识别,同时,从提取的面部特征中的眼部区域特征,识别闭眼动作,获得闭眼时间占连续驾驶时间的比例PERCLOS值;
Kinect传感器面部图像处理模块对轨道列车驾驶员面部特征进行提取,对轨道列车驾驶员的身份识别,记录同一轨道列车驾驶员的驾驶时间,并发送给Kinect传感器疲劳监测模块。同时,提取轨道列车驾驶员的眼部区域,识别闭眼动作,计算PERCLOS值(闭眼时间占连续驾驶时间的比例),并发送给疲劳监测预警模块。
利用轨道列车驾驶员的身份识别,精准的提取了同一轨道列车驾驶员的所有相关信息,避免了误检。
对采集到的轨道列车驾驶员骨骼图像数据和深度数据进行手势识别与匹配,获得轨道列车驾驶员发出的手势指令信号;
Kinect传感器手势识别模块对采集到的轨道列车驾驶员骨骼图像数据和手部的深度数据进行手势识别,并在手势模型数据库中的手势内容匹配,手势模型数据库包括上述“轨道弯道、道岔、进路、信号”对应的安全确认的标准动作手势。与手势模型数据库中匹配得到对应的指令信号信息,并发送给误判监测预警模块。
对采集到的轨道列车驾驶员语音数据进行语音关键词提取,并结合面部特征中的唇部区域特征,识别出唇部动态动作,将语音关键词和唇部动态动作进行特征融合匹配,获取轨道列车驾驶员发出的语音指令信号;
所述Kinect传感器语音识别模块对采集到的轨道列车驾驶员语音进行识别,提取语音关键词,语音关键词包括“轨道弯道、道岔、进路、信号”。对采集到的轨道列车驾驶员面部图像检测,识别唇部区域,通过对唇部特征提取和分析,识别出唇部动态动作,对唇部动态动作和语音进行特征融合,读取轨道列车驾驶员语音信息及其对应的信号指令内容,并发送给误判监测预警模块。
步骤3:对步骤2的数据处理结果进行预警;
若轨道列车驾驶员心率数据超过人体正常心率阈值,发出预警信号,并将预警信息上报监控中心;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中南大学,未经中南大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710470384.7/2.html,转载请声明来源钻瓜专利网。
- 上一篇:实车条件下的驾驶员反应时间测量方法
- 下一篇:一种膝关节远程康复系统