[发明专利]驾驶员的行为识别方法、装置、设备及存储介质

权利要求书

1.一种驾驶员的行为识别方法，其特征在于，所述方法包括：

获取目标图像，所述目标图像包括驾驶员的人脸；

从所述目标图像中获取第一区域图像，所述第一区域图像包括所述驾驶员的预设行为，所述预设行为是指与违规行为之间的相似度大于预设阈值的行为；

在所述目标图像中，按照第一比例阈值对所述第一区域图像的四周区域进行缩减处理，得到第二区域图像，以及按照第二比例阈值对所述第一区域图像的四周区域进行扩充处理，得到第三区域图像；

将所述第一区域图像、所述第二区域图像和所述第三区域图像调整为相同尺寸的区域图像；

调用目标网络模型，所述目标网络模型用于基于任一行为对应的一组区域图像确定所述行为的行为类别，所述目标网络模型包括输入层、中间层、拼接层、全连接层和输出层；

通过所述输入层基于尺寸调整后的区域图像的分辨率和通道数量，将所述尺寸调整后的第一区域图像、第二区域图像和第三区域图像中的图像数据进行通道叠加处理，得到第一特征图；

通过所述中间层对所述第一特征图进行卷积采样处理，得到多个第二特征图，所述多个第二特征图的尺寸相同且通道数不同；

通过所述拼接层将所述多个第二特征图进行通道叠加处理，并通过网络深层的卷积层对通道叠加后的特征图进行特征融合，得到第三特征图；

通过所述全连接层基于所述第三特征图，确定所述驾驶员的行为；

通过所述输出层输出所述行为。

2.如权利要求1所述的方法，其特征在于，所述中间层包括N组卷积层和N组采样层，每组卷积层与每组采样层一一对应；

所述通过所述中间层对所述第一特征图进行卷积采样处理，得到多个第二特征图，包括：

令i=1，将所述第一特征图确定为目标特征图；通过第i组卷积层对所述目标特征图进行卷积处理，通过第i组采样层分别按照两个不同倍数对得到的特征图进行采样处理，得到倍特征图和第i个参考尺寸的第二特征图，将所述倍特征图获取为所述目标特征图，所述参考尺寸大于或等于所述倍特征图的尺寸；

当i小于所述N时，令i=i+1，返回所述通过第i组卷积层对所述目标特征图进行卷积处理，通过第i组采样层分别按照两个不同倍数对得到的特征图进行采样处理，得到倍特征图和第i个参考尺寸的第二特征图，将所述倍特征图获取为所述目标特征图的操作；

当i等于所述N时，通过第N组卷积层对所述目标特征图进行卷积处理，通过第N组采样层按照对得到的特征图进行一次采样处理，得到第N个参考尺寸的第二特征图，结束操作。

3.如权利要求1所述的方法，其特征在于，所述调用目标网络模型之前，还包括：

获取多个训练样本，所述多个训练样本包括多组图像和每组图像中的行为类别，每组图像包括行为的区域图像、对所述区域图像进行缩减处理后确定的缩减区域图像，以及对所述区域图像进行扩充处理后确定的扩充区域图像；

基于所述多个训练样本对待训练的网络模型进行训练后得到所述目标网络模型。

4.如权利要求1所述的方法，其特征在于，所述从所述目标图像中获取第一区域图像，包括：

调用目标检测模型，将所述目标图像输入至所述目标检测模型中，输出人脸检测框和预设行为检测框，所述目标检测模型用于基于任一图像对所述图像中的人脸和预设行为进行识别；

当所述人脸检测框的数量为一个时，将所述人脸检测框确定为目标人脸检测框；当所述人脸检测框的数量为多个时，从多个人脸检测框中获取最大面积的人脸检测框，将获取的人脸检测框确定为目标人脸检测框；

基于所述目标人脸检测框，确定所述第一区域图像。

5.如权利要求4所述的方法，其特征在于，所述基于所述目标人脸检测框，确定所述第一区域图像，包括：

将所述预设行为检测框中未与所述目标人脸检测框重叠，或与所述目标人脸检测框之间的距离大于预设距离阈值的预设行为检测框过滤掉；

从所述目标图像中切割出过滤后剩余的预设行为检测框对应的区域，得到所述第一区域图像。