[发明专利]一种基于深度学习的司机、乘客行为分析与预警系统

权利要求书

1.一种基于深度学习的司机、乘客行为分析与预警系统，其特征在于，包括：车辆位置信息获取模块、司机与乘客行为获取模块、司机与乘客行为分析模块、语音预警与报警模块与数据存储模块；

所述车辆位置信息获取模块，用于获取车辆的位置信息；

所述司机与乘客行为获取模块，用于获取司机与乘客的视频数据；

所述司机与乘客行为分析模块，用于计算乘客与司机之间的距离，进而对公交车司机驾驶行为以及乘客的表情、动作、音频进行分析，得出司机与乘客的行为分析结果；

所述语音预警与报警模块，通过语音警示嫌疑人与司机并提醒其它乘客采取干预措施，报警模块用于报警操作；

所述数据存储模块，用于存储卷积神经网络模型、位置信息、视频与音频数据。

2.根据权利要求1所述的一种基于深度学习的司机、乘客行为分析与预警系统，其特征在于：所述的车辆位置信息获取模块，通过GPS获取车辆的位置信息，输入到数据存储模块中。

3.根据权利要求1所述的一种基于深度学习的司机、乘客行为分析与预警系统，其特征在于：所述的司机与乘客行为获取模块中，通过安装主摄像头、副摄像头组成双目视觉摄像头，调整摄像头角度使其能采集到驾驶员所处位置视频信息，两个摄像头同时进行录像操作；通过安装的麦克风获取车厢内音频信息，将获取到的视频、音频信息输入到数据存储模块中。

4.根据权利要求1所述的一种基于深度学习的司机、乘客行为分析与预警系统，其特征在于：所述的司机与乘客行为分析模块包含：测距子模块、司机行为分析子模块、乘客行为分析子模块，司机与乘客行为分析模块工作过程包含如下步骤：

步骤4.1：读取数据存储模块中主摄像头和副摄像头获取到的两个视频，运行测距模块中的双目测距算法，对乘客到司机的距离进行计算；

步骤4.2：当乘客与司机的距离大于安全距离阈值D时，只运行司机行为分析模块对司机的驾驶行为进行分析；

步骤4.3：当乘客与司机的距离小于安全距离阈值D时，只对乘客行为进行分析。

5.根据权利要求4所述的一种基于深度学习的司机、乘客行为分析与预警系统,其特征在于：所述步骤4.2中的司机驾驶行为分为正常行驶、接打电话、与他人攀谈、离开座位四类，系统读取存储模块中主摄像头获取到的视频，选取每一秒视频内的关键帧图像，输入到AlexNet算法中计算司机处于非正常驾驶状态的概率；

非正常驾驶状态概率计算如下：

5.1AlexNet模型的训练：使用包含正常行驶、接打电话、与他人攀谈、离开座位驾驶状态图片各5000张作为训练图片，调整图片大小为227×227，将AlexNet算法最后的全连接层修改为4个神经元，然后输入训练集的图片进行训练，输出四种驾驶状态的概率值，即正常行驶的概率为P_正常、接打电话的概率为P_电话、与他人攀谈的概率为P_攀谈、离开座位的概率为P_离开，模型训练好的标准分类为准确率不小于98％；

5.2模型的使用：读取数据存储模块中的主摄像头获取的视频数据，选取每一秒内的关键帧图像，将图像调整为227×227大小，输入到训练好的AlexNet模型中获得司机处于非正常驾驶行为的概率为P_非正常，其计算公式为：

P_非正常＝1-P_正常 (1)。

6.根据权利要求4所述的一种基于深度学习的司机、乘客行为分析与预警系统,其特征在于：所述步骤4.3中的对乘客行为分析具体过程如下：

6.1：读取存储模块中主摄像头获取到的视频，选取其一秒视频内的关键帧图像；

6.2：分析乘客脸部信息，计算乘客表情处于愤怒状态的概率P_怒，将关键帧图像输入到Mask RCNN中对乘客动作进行分析，计算动作因子m，获取数据存储模块中的音频对音频进行分析计算音量因子h；

6.3：将乘客脸部信息、乘客动作信息与乘客音频信息的分析结果进行汇总得出乘客非正常行为得分S。