[发明专利]一种考虑听觉信息的多场景交通车驾驶状态分析系统和方法

权利要求书

1.一种考虑听觉信息的多场景交通车驾驶状态分析系统，其特征在于：包括有交通车运动信息采集模块、交通车行为场景辨识模块、交通车鸣笛信息采集处理模块、鸣笛交通车交互信息采集模块、交通车驾驶风格辨识模块和交通车驾驶员性格分析模块，交通车运动信息采集模块、交通车行为场景辨识模块、交通车鸣笛信息采集处理模块、鸣笛交通车交互信息采集模块、交通车驾驶风格辨识模块和交通车驾驶员性格分析模块均集成在本无人车上，其中交通车运动信息采集模块用于采集相邻交通车的运动信息，用于该车驾驶风格辨识；交通车行为场景辨识模块用于获取鸣笛交通车产生鸣笛行为的交互场景；交通车鸣笛信息采集处理模块用于定位鸣笛车辆，采集处理鸣笛声音，记录鸣笛发出者的鸣笛开始时刻、鸣笛持续时间和连续鸣笛次数；鸣笛交通车交互信息采集模块用于采集鸣笛发出者与被鸣笛对象之间的交互信息，并结合交通车行为场景辨识模块、交通车鸣笛信息采集处理模块建立鸣笛容忍阈值范围；交通车驾驶风格辨识模块用于获得相邻交通车驾驶风格分类结果；交通车驾驶员性格分析模块用于提取包含多种信息的特征，训练决策树分类器获得特定场景下驾驶员性格分类结果。

2.一种考虑听觉信息的多场景交通车驾驶状态分析方法，其特征在于：其方法包括如下步骤：

第一步、利用交通车运动信息采集模块中的车载GPS、高清摄像头、速度传感器、加速度传感器、角度传感器、毫米波雷达和激光雷达设备采集相邻交通车的视觉信息和运动信息，包括交通车与本无人车之间的横纵向相对距离、横纵向相对速度、横纵向相对加速度、相对转角、相对角速度和相对角加速度，将采集到的数据传至交通车驾驶风格辨识模块；

第二步、交通车驾驶风格辨识模块接收交通车运动信息，训练随机森林获取驾驶风格分类结果，规定三类驾驶风格类别标签：激进型、正常型、保守型，采用相对多数投票法对分类结果进行综合，得票最多者作为最终输出结果，若同时有一个以上风格获得最高票，则随机选取其一作为辨识结果，相邻驾驶风格之间存在得票率相近的情况，此时投票结果不可靠，对训练后的模型进行概率校准，绘制分类结果的三维混淆矩阵，多次迭代直至其F_β分数达到90％；

第三步、交通车鸣笛信息采集处理模块中的麦克风阵列检测鸣笛声音，过滤交通环境中嘈杂的背景音，定位鸣笛发出者；应用本模块中的鸣笛声音采集装置采集与本无人车相邻的交通车的鸣笛声音，记录鸣笛发出者的鸣笛开始时刻、鸣笛持续时间和连续鸣笛次数；

第四步、利用交通车行为场景辨识模块确定与本无人车相邻交通车的鸣笛交互场景，考虑人类产生鸣笛行为的驾驶场景，规定三个交通车鸣笛场景：跟驰场景、换道场景和被切入场景，在鸣笛信息采集处理模块已经定位鸣笛发出者后，通过数个安装高度和角度不同的前置摄像头、后视摄像头、侧视摄像头和环视摄像头录制拍摄其与被鸣笛对象之间的交互行为，将视频和图片传至视觉影像处理系统，处理后运用图像识别算法，提取其交互信息，确定鸣笛交通车与被鸣笛对象间的交互场景；

第五步、利用交通车鸣笛信息采集处理模块、交通车行为场景辨识模块、鸣笛交通车交互信息采集模块和信息处理后台综合建立鸣笛容忍阈值范围，首先获取交通车鸣笛开始时机，鸣笛开始时机是指特定场景下鸣笛开始时刻对应的鸣笛发出者与被鸣笛对象之间的交互信息，自交通车鸣笛信息采集处理模块检测到鸣笛时刻起，鸣笛交通车交互信息采集模块开始工作，该模块中包括与交通车运动信息采集模块不同的另一套运动信息采集设备，采集设备有速度传感器、加速度传感器、角度传感器、毫米波雷达和激光雷达，同时借助交通车行为场景辨识模块中的前置摄像头、后视摄像头、侧视摄像头、环视摄像头，运用多模态信息融合算法，输出鸣笛发出者与被鸣笛对象之间的交互信息，具体包括：若场景辨识结果为跟驰场景，采集鸣笛开始时刻鸣笛发出者与被鸣笛对象之间的相对距离和相对速度；若场景辨识结果为被切入场景，采集鸣笛开始时刻交通车被被鸣笛对象切入的角度，二者横纵向相对距离，横向相对速度；若场景辨识结果为换道场景，采集鸣笛开始时刻鸣笛发出者与被鸣笛对象之间横纵向相对距离，横纵向相对速度，将上述鸣笛开始时机数据传递至信息处理后台进行统计，计算不同场景下鸣笛开始时机的平均值，并取95％置信区间，建立驾驶员鸣笛容忍阈值范围，驾驶员鸣笛容忍阈值是基于不同场景而建立的，且随着数据量的增加，信息处理后台的输出结果不断更新，以保证鸣笛容忍阈值范围的准确性；

第六步、利用交通车驾驶员性格分析模块获取性格分类结果，依据驾驶员对可能损失自身驾驶收益行为的容忍度不同，且在交互中攻击性不同，结合人类驾驶员驾驶思维及驾驶习惯，规定驾驶员性格分为三类：暴躁型性格，胆小型性格和沉稳型性格；

暴躁型性格的驾驶员对可能损失自身驾驶收益行为的容忍度低，攻击性强，当现实交互条件不满足其速度需求和驾驶乐趣时会产生烦躁愤怒情绪，对交互对象传达不满和催促信息，暴躁型性格驾驶员追求高速体验，耐心较差，对他车在交互中处于利己的竞争者角色；

胆小型性格的驾驶员对可能损失自身驾驶收益行为的容忍度低，攻击性弱，对距离和速度的把控谨慎，当现实交互条件不满足其安全需求时会产生紧张不安的情绪，对交互对象传达排斥信息，胆小型性格驾驶员更注重自身安全性；

沉稳型性格的驾驶员对可能损失自身驾驶收益行为的容忍度高，攻击性弱，对其他交通对象态度宽容，驾驶心态随和，对高速驾驶追求不高，在交互中处于利他的的合作者角色；

本模块获取听觉数据及鸣笛容忍阈值范围，提取三个包含多种信息的特征：是否处于鸣笛容忍阈值范围内、鸣笛持续时间和连续鸣笛次数，其中，是否处于鸣笛容忍阈值范围内这一特征中除包含听觉信息外，还包含鸣笛行为对应的运动信息，依据前述三种性格类别标签和前述三个特征训练决策树分类器，使用信息增益率选择划分属性对驾驶员性格状态进行分类；

第七步、将驾驶风格和驾驶员性格进行组合匹配，两类标签匹配后输出交通车综合状态指标，该指标综合了车辆运动状态和驾驶员性格情绪，将交通车综合状态指标作为意图识别、轨迹预测和决策规划模块的输入能够提高其准确率和精度。