[发明专利]一种驾驶员行为识别方法、系统、装置及存储介质

说明书

本发明公开了一种驾驶员行为识别方法、系统、装置及存储介质，其中方法包括：获取摄像头拍摄的视频数据，根据视频数据提取驾驶员骨架关键点坐标；采用姿态引导的视觉特征提取器和视觉引导的姿态特征提取器分别提取视觉特征和驾驶员姿态特征；通过多模态双向交互机制，使得两模态之间的信息双向交互，提升模型的表征能力，并输出驾驶员行为识别结果。本发明有效地利用了模态间的互补信息，具有更强的表征能力，所以驾驶员行为的识别结果的准确度更高。本发明可广泛应用于智能识别技术领域。

技术领域

本发明涉及智能识别技术领域，尤其涉及一种驾驶员行为识别方法、系统、装置及存储介质。

背景技术

目前，驾驶员行为识别在智慧交通，智能驾驶等众多领域中扮演着越来越重要的角色。相比于其他行为识别任务，在驾驶员行为识别任务中，驾驶员动作幅度小，身体姿态相似，且往往仅发生于画面中较小区域，导致不同动作模式难以区分。因此现有的只基于视频RGB模态或者骨架模态的方法往往难以达到理想的性能。然而，视频RGB模态和骨架模态之间存在互补信息，如驾驶员的身体姿态信息可以帮助模型关注画面动作发生的区域，视觉信息可以帮助模型识别动作姿态相似的动作，利用模态间的互补信息可以提高模型的表征能力，提取更具判别力的特征。但是，由于这两种模态数据差异较大，如何让这两种模态的信息可以交互，从而有效利用模态间的互补信息目前仍有待解决。

综上所述，如何让这两种模态的信息可以交互，从而有效利用模态间的互补信息目前仍有待解决。

发明内容

为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种驾驶员行为识别方法、系统、装置及存储介质。

本发明所采用的技术方案是：

一种驾驶员行为识别方法，包括以下步骤：

获取摄像头拍摄的视频数据，根据视频数据提取驾驶员骨架关键点坐标；

采用姿态引导的视觉特征提取器和视觉引导的姿态特征提取器分别提取视觉特征和驾驶员姿态特征；

通过多模态双向交互机制，使得两模态之间的信息双向交互，提升模型的表征能力，并输出驾驶员行为识别结果。

进一步地，所述采用姿态引导的视觉特征提取器和视觉引导的姿态特征提取器分别提取视觉特征和驾驶员姿态特征，包括：

采用驾驶员的姿态信息引导视觉特征提取器聚焦画面动作发生的区域；

采用视频的视觉信息帮助姿态特征提取器感知交互物体的外观信息。

进一步地，所述通过多模态双向交互机制，使得两模态之间的信息双向交互，提升模型的表征能力，并输出驾驶员行为识别结果，包括：

利用卷积层、批量归一化层、线性整流层、池化层、全连接层为视频数据和骨架数据分别构建卷积神经网络和图卷积神经网络，作为视觉特征提取器和姿态特征提取器；

利用感兴趣区域对齐技术、池化层、全连接层构建基于骨架关键点的感兴趣区域提取模块；

利用全连接层、线性整流层构建姿态引导的注意力模块；

在双流网络中插入基于骨架关键点的感兴趣区域提取模块和姿态引导的注意力模块，构建多模态双向交互网络；

利用所述多模态双向交互网络，使得两模态之间的信息双向交互，提升模型的表征能力，并输出驾驶员行为识别结果。

进一步地，所述利用感兴趣区域对齐技术、池化层、全连接层构建基于骨架关键点的感兴趣区域提取模块，包括：

以骨架关键点坐标为中心，生成边界盒坐标并利用感兴趣区域对齐技术提取交互物体的外观特征；

利用池化层和全连接层构建的模块网络融合交互物体的外观特征和姿态特征。