[发明专利]一种驾驶员行为识别方法、系统、装置及存储介质

权利要求书

1.一种驾驶员行为识别方法，其特征在于，包括以下步骤：

获取摄像头拍摄的视频数据，根据视频数据提取驾驶员骨架关键点坐标；

采用姿态引导的视觉特征提取器和视觉引导的姿态特征提取器分别提取视觉特征和驾驶员姿态特征；

通过多模态双向交互机制，使得两模态之间的信息双向交互，提升模型的表征能力，并输出驾驶员行为识别结果。

2.根据权利要求1所述的一种驾驶员行为识别方法，其特征在于，所述采用姿态引导的视觉特征提取器和视觉引导的姿态特征提取器分别提取视觉特征和驾驶员姿态特征，包括：

采用驾驶员的姿态信息引导视觉特征提取器聚焦画面动作发生的区域；

采用视频的视觉信息帮助姿态特征提取器感知交互物体的外观信息。

3.根据权利要求1所述的一种驾驶员行为识别方法，其特征在于，所述通过多模态双向交互机制，使得两模态之间的信息双向交互，提升模型的表征能力，并输出驾驶员行为识别结果，包括：

利用卷积层、批量归一化层、线性整流层、池化层、全连接层为视频数据和骨架数据分别构建卷积神经网络和图卷积神经网络，作为视觉特征提取器和姿态特征提取器；

利用感兴趣区域对齐技术、池化层、全连接层构建基于骨架关键点的感兴趣区域提取模块；

利用全连接层、线性整流层构建姿态引导的注意力模块；

在双流网络中插入基于骨架关键点的感兴趣区域提取模块和姿态引导的注意力模块，构建多模态双向交互网络；

利用所述多模态双向交互网络，使得两模态之间的信息双向交互，提升模型的表征能力，并输出驾驶员行为识别结果。

4.根据权利要求3所述的一种驾驶员行为识别方法，其特征在于，所述利用感兴趣区域对齐技术、池化层、全连接层构建基于骨架关键点的感兴趣区域提取模块，包括：

以骨架关键点坐标为中心，生成边界盒坐标并利用感兴趣区域对齐技术提取交互物体的外观特征；

利用池化层和全连接层构建的模块网络融合交互物体的外观特征和姿态特征。

5.根据权利要求3所述的一种驾驶员行为识别方法，其特征在于，所述利用全连接层、线性整流层构建姿态引导的注意力模块，包括：

利用注意力机制，得到两种模态特征的关系权重矩阵，通过矩阵相乘聚合姿态特征和视觉特征。

6.根据权利要求3所述的一种驾驶员行为识别方法，其特征在于，所述在双流网络中插入基于骨架关键点的感兴趣区域提取模块和姿态引导的注意力模块，构建多模态双向交互网络，包括：

基于骨架关键点的感兴趣区域提取模块和姿态引导的注意力模块分别插入到图卷积神经网络和卷积神经网络，构建多模态双向交互网络；

其中，感兴趣区域提取模块和注意力模块两个模块插入的位置是任意的。

7.根据权利要求3所述的一种驾驶员行为识别方法，其特征在于，所述利用所述多模态双向交互网络，使得两模态之间的信息双向交互，提升模型的表征能力，并输出驾驶员行为识别结果，包括：

基于骨架关键点的感兴趣区域提取模块提取交互物体的外观特征，与姿态特征进行融合，帮助姿态特征提取器感知交互物体的外观信息；

姿态引导的注意力模块利用注意力机制聚合视觉特征和姿态特征，帮助视觉特征提取器聚焦动作发生区域。

8.一种驾驶员行为识别系统，其特征在于，包括：

骨架提取模块，用于获取摄像头拍摄的视频数据，根据视频数据提取驾驶员骨架关键点坐标；

特征提取模块，用于采用姿态引导的视觉特征提取器和视觉引导的姿态特征提取器分别提取视觉特征和驾驶员姿态特征；

双向交互模块，用于通过多模态双向交互机制，使得两模态之间的信息双向交互，提升模型的表征能力，并输出驾驶员行为识别结果。