[发明专利]一种面向网约车的车内危险场景识别方法

说明书

本发明公开了一种面向网约车的车内危险场景识别方法，分别从视频数据中提取出人体骨骼关键点作为姿态特征，从音频数据中提取filter bank语音特征后，最后通过设计一种基于模态注意力机制的多模态融合模型将上述特征融合并进行时序分析，具体为：通过预设模态注意力模型，计算出每种模态特征的当前时刻的模态注意力，再根据模态特征当前时刻的模态注意力和对应的模态原始特征，获得融合特征，最后，将融合特征输入时序模型，得到输出结果)，解决了运用单一技术进行分析时识别不够准确的技术问题，实现对车内危险场景的准确识别。

技术领域

本发明涉及计算机视觉和多模态分析技术领域，具体涉及一种面向网约车的车内危险场景识别方法。

背景技术

近年来出租车上发生的抢劫案、滴滴打车上发生的“空姐遇害案”等一系列公共事件表明，网约车业务中存在着不容忽视的安全问题，亟需一种可以实时检测网约车内危险场景的场景识别技术。

网约车内典型的危险场景包括殴打、辱骂、抢方向盘等。这些场景主要由司机与乘客的行为来识别，而姿态和言语是判断行为的主要特征。

本申请发明人在实施本发明的过程中，发现现有技术的方法，至少存在如下技术问题：

目前的行为识别、人体骨骼关键点识别及语音识别技术虽已较为成熟，但都无法直接运用于车内场景：(1)行为识别技术大都面向较为开阔的场景中的完整人体，有的甚至得利用深度相机，而车内空间狭小，监控画面中只能显示人体上半身，且网约车司机不太可能在车内安装昂贵的深度相机；(2)人体骨骼关键点位置信息难以区分某些相似度高而含义不同的动作，比如后排乘客晕倒时骨骼关键点的位置信息很可能与其倒下休息时骨骼关键点的位置信息高度相似；(3)语音识别技术无法判别声音来源，车载广播播放的内容可能会对结果造成一定的影响；(4)多人场景下不是所有特征都能对场景判别起到同等的作用，比如当司机与副驾驶乘客起肢体冲突时，后排乘客身上的姿态特征就属于冗余信息，所以必须有侧重地选用特征进行分析。

由此可知，现有技术中的方法存在识别准确性不高的技术问题。

发明内容

有鉴于此，本发明提供了一种面向网约车的车内危险场景识别方法，用以解决或者至少部分解决现有技术中的方法存在的识别准确性不高的技术问题。

为了解决上述技术问题，本发明提供了一种面向网约车的车内危险场景识别方法，包括：

步骤S1：从采集的视频数据中提取出人体骨骼关键点作为姿态特征，其中，每个人对应一组姿态特征；

步骤S2：对采集的音频数据进行重采样后，提取出语音特征；

步骤S3：将提取出的各组姿态特征和一组语音特征分别当作一种模态特征，输入预设模态注意力模型，计算出每种模态特征的当前时刻的模态注意力，根据模态特征当前时刻的模态注意力和对应的模态原始特征，获得融合特征，其中，与当前时刻的模态注意力对应的模态原始特征为当前时刻的姿态特征或者语音特征；

步骤S4：将融合特征作为当前时刻的场景特征输入时序模型，进行危险场景识别，输出识别结果。

在一种实施方式中，步骤S1具体包括：

步骤S1.1：将采集的视频数据转换为视频帧序列；

步骤S1.2：利用预设工具从视频帧中提取每个人的骨骼关键点坐标作为姿态特征，并按照车内人数将所有的姿态特征对应分成若干组姿态特征。

在一种实施方式中，步骤S1.2具体包括：