[发明专利]一种基于深度学习的司机、乘客行为分析与预警系统

说明书

本发明公开了一种基于深度学习的司机、乘客行为分析与预警系统，包括车辆位置信息获取模块、司机与乘客行为获取模块、司机与乘客行为分析模块、语音预警与报警模块与数据存储模块；通过摄像头获取视频信息，计算乘客与司机的距离，进而使用AlexNet算法对司机的驾驶行为进行分析，使用深度学习算法AlexNet与Mask RCNN分别对乘客的表情与动作进行分析，并结合语音分析，给出司机与乘客行为分析结果，将分析结果与阈值进行比较，进而运行三级预警操作，此系统能及时发现公交车内危害驾驶的行为，并给出预警措施，保障了乘客生命安全。

技术领域

本发明属于视觉识别技术领域，尤其涉及一种基于深度学习的司机、乘客行为分析与预警系统。

背景技术

随着视频监控技术的发展，视频监控技术被广泛的应用于各种公共场合，现有的识别特征主要有动作、音频，表情。其中基于动作识别的文献有：[罗会兰，王婵娟，卢飞.视频行为识别综述[J].通信学报.2018,39(06):169-180.]、《基于上肢推搡检测大家行为的方法-201210591495.0》、《基于上肢高度检测打架行为的方法-201210591527.7》；基于音频识别的文献有：《音视频联合分析的打架斗殴检测系统-200920291779.1》；基于面部识别的文献的有：《基于面部识别的检测打架行为的方法-201210587739.8》。专利《一种基于视觉的运营车辆人员异常行为检测方法审中-实审申请号：201910229246.9》，该专利基于动作进行判断，分析特征单一，忽略了乘客抢夺方向盘的行为。当发生危害驾驶的行为时无法预警或者报警，阻止行为的恶化；本专利将动作、表情、语音三个维度的信息进行整合分析，并且在分析动作时对抢夺方向盘的行为也做出分析，在遇到不同的情况时进行相关的预警或者报警操作，保证了车辆的安全行驶。

专利《一种基于多列融合卷积神经网络的驾驶员行为识别方法-201810692685.9》提及到一种对驾驶员行为分析的方法，但是该专利只是对驾驶员的行为进行分析，没有对乘客的行为进行分析，造成无法避免因乘客造成的危险，本专利将司机和乘客均作为分析的对象，进一步保证行驶安全。

特别的，公交车内人员复杂、密集，当乘客出现乘客干扰司机或者殴打司机行为时，会对行驶安全造成巨大的威胁。现有的视频监控只能起到记录的作用，出现事故后还是需要人员去查看，无法处理突发情况，使用深度卷积神经网络可以对乘客以及司机的行为进行分析，关键点获取算法Mask RCNN结构如文献[He K,Gkioxari G,Dollar P,etal.Mask R- CNN[J].IEEE Transactions on Pattern Analysis&MachineIntelligence.2017,PP(99):1.]所述，这种算法的出现使得行为分析变的简单易行。

发明内容

本发明目的在于克服上述现在技术的不足，提出一种融合司机与乘客的语音、表情和动作多特征的一种基于深度学习的司机、乘客行为分析与预警系统，可以准确分析司机和乘客的行为信息，判定是否危害行驶安全并采取不同级别的预警措施，保证了行驶安全。

为了解决以上存在的技术问题，本发明的技术方案是:

一种基于深度学习的司机、乘客行为分析与预警系统，包括：车辆位置信息获取模块、司机与乘客行为获取模块、司机与乘客行为分析模块、语音预警与报警模块与数据存储模块；

车辆位置信息获取模块，用于获取车辆的位置信息；

司机与乘客行为获取模块，用于获取司机与乘客的视频数据；

司机与乘客行为分析模块，用于计算乘客与司机之间的距离，进而对公交车司机驾驶行为以及乘客的表情、动作、音频进行分析，得出司机与乘客的行为分析结果；

语音预警与报警模块，通过语音警示嫌疑人与司机并提醒其它乘客采取干预措施，报警模块用于报警操作；