[发明专利]司乘异常行为识别方法、装置、电子设备和介质

权利要求书

1.一种司乘异常行为识别方法，其特征在于，包括：

获取样本数据，所述样本数据包括样本图像数据和样本语音数据，获取用于进行微表情识别的第一识别模型和用于语音情绪识别的第二识别模型，根据所述样本图像数据对所述第一识别模型进行训练，根据所述样本语音数据对第二识别模型进行训练；

预先根据不同的微表情和语音情绪设定多种异常行为，并根据各异常行为和预先制定决策之间的映射关系，建立决策模型；

采集目标基础数据，所述目标基础数据包括车内图像数据和车内语音数据，并依次通过训练后的第一识别模型和第二识别模型，获取微表情识别和语音情绪识别结果；

根据司机和乘客的所述微表情识别和语音情绪识别结果，判定是否发生异常行为，并根据所述决策模型，执行相应的决策。

2.根据权利要求1所述的司乘异常行为识别方法，其特征在于，通过训练后的第一识别模型获取微表情识别结果包括：

对所述车内图像数据进行图像增强处理；

将图像增强处理后的图像数据进行图像分割，获取人脸区域，若图像数据中包括多个人脸区域，则分别获取各人脸区域的面积，根据预设数量阈值，由大到小选取人脸区域，并截取选定的区域子图；

将所述区域子图与预先采集的司机人脸图像进行比对，进而分别获取司机和乘客对应的区域子图；

获取司机和乘客对应的区域子图的微表情以及所述微表情对应的置信度。

3.根据权利要求2所述的司乘异常行为识别方法，其特征在于，通过训练后的第二识别模型，获取语音情绪识别结果包括：

对车内语音数据进行语音活动检测，获取静音抑制后的语音数据；

对同一人的连续的所述语音数据进行合并，并进行声纹识别，分别获取司机和乘客对应的语音数据；

获取司机和乘客对应的语音数据的语音情绪以及所述语音情绪对应的置信度。

4.根据权利要求3所述的司乘异常行为识别方法，其特征在于，所述目标基础数据还包括身份信息、行程信息、时间信息、服务评价、环境信息、车辆行驶实时信息；按时间轴顺序，获取同一时刻司机和乘客的所述微表情识别结果、语音情绪识别结果和车辆行驶实时信息根据同一时刻的微表情识别结果、语音情绪识别结果判断司乘人员状态，根据车辆行驶实时信息判断车辆状态，通过司乘人员状态和车辆状态共同判定是否发生异常行为。

5.根据权利要求4所述的司乘异常行为识别方法，其特征在于，

记录所有司机和乘客的历史异常行为，

在进行订单匹配前，根据历史异常行为和所述目标基础数据，以及预先对每个评价指标设置的权重，分别计算司机和乘客的综合评分，根据所述司机和乘客的综合评分，分别获取司机和乘客安全等级，并进行推送；

待司机和乘客双方互相确认对方的安全等级后，完成订单匹配。

6.根据权利要求5所述的司乘异常行为识别方法，其特征在于，

在进行订单匹配时，以所述司机和乘客的综合评分作为定量，根据预约请求中不同的影响因素，以及影响因素的权重，分别计算不同司机和同一乘客的匹配度，根据匹配度的高低，将司机和乘客进行匹配。

7.根据权利要求4所述的司乘异常行为识别方法，其特征在于，所述决策模型包括基于支持向量机的风险预警引擎，所述风险预警引擎通过以预先设定的决策的事件类型为标签，以目标基础数据特征和异常行为特征为输入，获取风险预警结果。