[发明专利]动作识别、驾驶动作分析方法和装置及电子设备

说明书

本申请公开了一种动作识别方法及装置。该方法包括：提取包括有人脸的图像的特征；基于所述特征提取可能包括预定动作的多个候选框；基于多个所述候选框确定动作目标框，其中，所述动作目标框包括人脸的局部区域和动作交互物；基于所述动作目标框进行预定动作的分类，获得动作识别结果。还公开了相应的装置。本申请可实现对精细动作的识别。

技术领域

本申请涉及图像处理技术领域，尤其涉及一种动作识别、驾驶动作分析方法和装置、电子设备和存储介质。

背景技术

动作识别技术在近几年成为了非常热门的应用研究方向，在很多领域和产品上都可以见到这项技术的身影，采用这种技术也是未来人机交互的发展趋势，尤其在驾驶员监控领域有着广泛的应用前景。

目前，动作识别主要通过以下两种方式实现：1、基于视频的时序特征；2、基于人体关键点的检测进行估计。基于视频的时序特征，一般是通过光流完成的，但光流计算耗时、时间复杂度高。基于人体关键点或人体姿态估计通常无法识别较为精细的动作类别。

发明内容

本申请提供了一种动作识别技术方案和驾驶动作分析技术方案。

第一方面，提供了一种动作识别方法，包括：提取包括有人脸的图像的特征；基于所述特征提取可能包括预定动作的多个候选框；基于多个所述候选框确定动作目标框，其中，所述动作目标框包括人脸的局部区域和动作交互物；基于所述动作目标框进行预定动作的分类，获得动作识别结果。

在一种可能实现的方式中，所述人脸局部区域，包括以下至少之一：嘴部区域，耳部区域，眼部区域。

在另一种可能实现的方式中，所述动作交互物，包括以下至少之一：容器、烟、手机、食物、工具、饮料瓶、眼镜、口罩。

在另一种可能实现的方式中，所述动作目标框还包括：手部区域。

在另一种可能实现的方式中，所述预定动作包括以下至少之一：打电话、抽烟、喝水/饮料、进食、使用工具、戴眼镜、化妆。

在另一种可能实现的方式中，所述动作识别方法还包括：经车载摄像头拍摄位于车内的人的包括有人脸的图像。

在另一种可能实现的方式中，所述车内的人包括以下至少之一：所述车的驾驶区的驾驶员，所述车的副驾驶区的人，所述车的后排座椅上的人。

在又一种可能实现的方式中，所述车载摄像头为：RGB摄像头、红外摄像头或近红外摄像头。

在又一种可能实现的方式中，所述提取包括有人脸的图像的特征，包括：经神经网络的特征提取分支提取包括有人脸的图像的特征，获得特征图。

在又一种可能实现的方式中，所述基于所述特征提取可能包括预定动作的多个候选框，包括：经所述神经网络的候选框提取分支在所述特征图上提取可能包括预定动作的多个候选框。

在又一种可能实现的方式中，所述经所述神经网络的候选框提取分支在所述特征图上提取可能包括预定动作的多个候选框，包括：根据所述预定动作的特征对所述特征图中的特征进行划分，获得多个候选区域；根据所述多个候选区域，获得所述多个候选框和所述多个候选框的第一置信度，其中，所述第一置信度为所述候选框为所述动作目标框的概率。

在又一种可能实现的方式中，所述基于多个所述候选框确定动作目标框，包括：经所述神经网络的检测框精修分支基于多个所述候选框确定动作目标框。

在又一种可能实现的方式中，所述经所述神经网络的检测框精修分支基于多个所述候选框确定动作目标框，包括：将所述第一置信度小于第一阈值的所述候选框去除，获得多个第一候选框；池化处理所述多个第一候选框，获得多个第二候选框；根据所述多个第二候选框，确定所述一个或多个动作目标框。