[发明专利]司乘异常行为识别方法、装置、电子设备和介质

说明书

本发明涉及人工智能技术，提供一种司乘异常行为识别方法、装置、电子设备和介质，方法包括：建立用于进行微表情识别的第一识别模型和用于进行语音情绪识别的第二识别模型，并分别进行训练；根据各异常行为和预先制定决策之间的映射关系，建立决策模型；采集目标基础数据，并依次通过训练后的第一识别模型和第二识别模型，获取微表情识别和语音情绪识别结果；根据识别结果，判定是否发生异常行为，并执行相应的决策；本发明基于行程期间车内司乘人员实时语音和图像情绪，通过两个识别模型的同步分析，对异常行为进行准确识别，进而通过决策模型执行相应的决策，提前对双发的行为作出预判，及时通过相应的决策安抚双方情绪，避免事态升级起，提高了行程的安全性。

技术领域

本发明涉及人工智能领域，尤其涉及一种司乘异常行为识别方法、装置、电子设备和介质。

背景技术

随着网约车平台的蓬勃发展，功能丰富的网约车为人们的日常生活带来了便利。但是，针对平台方面，由于各种平台粗放扩展、野蛮生长，也带来了一系列的问题，例如管理疏漏、人员素质参差不齐等原因，导致安全问题事件频出。虽然在平台管理方面也做了部分改进，如在司机准入资格、行程线路实时查询等方面加强了管理，但是，实际效果并不明显。

另外，针对司机和乘客方面，也缺少相应的监控和管理手段，在司乘之间发生纠纷时，缺少必要的证据还原当时场景，不能作出公正的客观评价，例如由于个别乘客的主观意愿，对司机的正常服务进行恶意差评，有例如一些特殊乘客，如醉酒人员问题引起的酒后失德行为，导致司机利益受损。因此，亟需一种新的方式，提高司乘的异常行为识别的准确度，再根据识别到的异常行为，及时配合预先制定的决策，例如通过第三方介入等方式，以提升对网约车、出租车平台，以及对司机和乘客的管理，使乘车行为更加安全，保护三方的安全和利益。

发明内容

鉴于以上所述现有技术的缺点，本发明提供一种司乘异常行为识别方法、装置、电子设备和介质，以提高司乘的异常行为识别的准确度，再根据识别到的异常行为，及时配合预先制定的决策，例如通过第三方介入等方式，以提升对网约车、出租车平台，以及对司机和乘客的管理，使乘车行为更加安全，保护三方的安全和利益。

本发明提供的司乘异常行为识别方法，包括：

获取样本数据，所述样本数据包括样本图像数据和样本语音数据，获取用于进行微表情识别的第一识别模型和用于语音情绪识别的第二识别模型，根据所述样本图像数据对所述第一识别模型进行训练，根据所述样本语音数据对第二识别模型进行训练；

预先根据不同的微表情和语音情绪设定多种异常行为，并根据各异常行为和预先制定决策之间的映射关系，建立决策模型；

采集目标基础数据，所述目标基础数据包括车内图像数据和车内语音数据，并依次通过训练后的第一识别模型和第二识别模型，获取微表情识别和语音情绪识别结果；

根据司机和乘客的所述微表情识别和语音情绪识别结果，判定是否发生异常行为，并根据所述决策模型，执行相应的决策。

于本发明的一实施例中，通过训练后的第一识别模型获取微表情识别结果包括：

对所述车内图像数据进行图像增强处理；

将图像增强处理后的图像数据进行图像分割，获取人脸区域，若图像数据中包括多个人脸区域，则分别获取各人脸区域的面积，根据预设数量阈值，由大到小选取人脸区域，并截取选定的区域子图；

将所述区域子图与预先采集的司机人脸图像进行比对，进而分别获取司机和乘客对应的区域子图；

获取司机和乘客对应的区域子图的微表情以及所述微表情对应的置信度。

于本发明的一实施例中，通过训练后的第二识别模型，获取语音情绪识别结果包括：

对车内语音数据进行语音活动检测，获取静音抑制后的语音数据；