[发明专利]一种基于图像的机车乘务员作业自动分析系统

说明书

本发明公开了一种基于图像的机车乘务员作业自动分析系统，该系统包括：图像获取模块，通过监控获取乘务员图像；目标检测模块，目标检测获取乘务员和操作对象；特征提取模块，对提取的乘务员和操作对象进行匹配，使用多流网络模型进行交互行为特征提取；交互识别模块，对进行特征融合并进识别交互行为；作业规范性分析模块，根据交互行为识别结果，对机车乘务员作业进行规范性评分；输出与报警模块，根据规范性评分，判断行为是否规范。本发明自动分析机车乘务员作业规范性，例如试闸、起步、调速、制动等作业行为，保证起步稳定，杜绝臆测行车，减少违章作业，对提升机车安全管理水平、降低安全事故发生率和保证机车安全稳定运行具有重要意义。

技术领域

本发明涉及视频监控及模式识别技术领域，具体涉及一种基于图像的机车乘务员作业自动分析系统，该系统依赖于一种基于融合局部信息与全局信息的多流神经网络模型的人物交互行为识别方法。

背景技术

在铁路列车运行过程中，机车乘务员在驾驶室对操作对象进行作业，控制机车行驶和前进，作业行为包括试闸、起步、调速、制动等，作业行为的规范性对于列车的稳定运行具有至关重要的意义。然而，在现实机车操控场景中可能存在安全隐患。一方面，新手机车乘务员对作业缺乏经验，可能会产生错误作业行为；另一方面，机车乘务员与操作对象进行交互，由于机车乘务员可能产生疲劳、疏忽等现象，导致不规范的作业行为。因此，机车乘务员不规范甚至错误的作业行为不仅会影响列车正常运行，严重时可能造成列车停运甚至侧翻等重大安全事故，对国民经济造成巨大损失，危害社会安全稳定。

近年来，随着计算机技术和深度学习算法的发展，基于图像的模式识别领域得到了飞速发展，为了理解图像中场景所呈现的语义信息，计算机需要识别不同对象之间的联系，视觉关系检测成为研究的一大热点。在视觉关系检测领域，人类视觉体验的很大一部分是涉及人与物体之间的交互行为，即人物交互行为识别，通过对视觉场景中的行为进行分析，输出其中的语义信息来辅助其他领域的决策。

鉴于此，本发明提出一种基于融合局部信息与全局信息的多流神经网络模型的人物交互行为识别方法，在此基础上，提出了一种基于图像的机车乘务员作业自动分析系统，在这个系统中，人物交互行为识别中的人和物体分别指代机车乘务员和操作对象，该系统不仅可以实时获取驾驶室的视觉图像场景，而且通过人物交互行为识别对图像中的机车乘务员与操作对象的交互行为进行规范性分析，保证每一个作业行为符合规范要求，对不规范的作业行为进行警告和制止，为铁路列车的运行保驾护航，防止由于人为原因导致的重大安全事故发生。

发明内容

本发明的目的是为了解决机车乘务员与操控对象的作业自动分析问题，通过监控视频获取的视觉图像对机车乘务员作业行为进行规范性分析，保证机车乘务员作业符合规范，达到铁路列车平稳安全的行驶。

第一方面，本发明提出了一种基于图像的机车乘务员作业自动分析系统，该系统包括：图像获取模块，通过监控视频获取铁路列车控制室中机车乘务员与操作对象的视觉场景图像；目标检测模块，使用目标检测方法获取视觉场景图像中的乘务员和操作对象；特征提取模块，对提取的机车乘务员和操作对象进行匹配，并使用基于深度神经网络模型进行交互行为的深度特征提取；交互识别模块，对提取的深度特征进行特征融合，通过融合的特征进行交互行为识别，即识别机车乘务员的作业行为；作业规范性分析模块，根据对机车乘务员和操作对象的交互行为识别结果，即机车乘务员作业行为，进行规范性评分得到作业行为分析结果；输出与报警模块，根据机车乘务员的作业分析结果，判断行为是否符合规范，如果符合规范则进行下一帧视觉图像的获取，如果不符合规范则进行报警。

第二方面，本发明提出了一种基于融合局部信息与全局信息的多流神经网络模型的人物交互行为识别方法，该模型包括：局部流，通过局部信息模块提取图像中人和物体的局部区域特征；全局流，在局部信息模块的基础上，提取以人和物体为中心的全局上下文特征；成对流，提取视觉图像中人和物体相对空间特征。在多流特征提取的基础上，通过对局部区域特征、全局上下文特征和相对空间特征进行特征融合，最终输出人物交互行为识别得分。