[发明专利]动作识别、驾驶动作分析方法和装置及电子设备

权利要求书

1.一种动作识别方法，其特征在于，包括：

提取包括有人脸的图像的特征；

基于所述特征提取可能包括预定动作的多个候选框；

基于多个所述候选框确定动作目标框，其中，所述动作目标框包括人脸的局部区域和动作交互物；

基于所述动作目标框进行预定动作的分类，获得动作识别结果。

2.根据权利要求1所述的方法，其特征在于，所述人脸局部区域，包括以下至少之一：嘴部区域，耳部区域，眼部区域。

3.根据权利要求1或2任一项所述的方法，其特征在于，所述提取包括有人脸的图像的特征，包括：

经神经网络的特征提取分支提取包括有人脸的图像的特征，获得特征图。

4.根据权利要求3所述的方法，其特征在于，所述基于所述特征提取可能包括预定动作的多个候选框，包括：

经所述神经网络的候选框提取分支在所述特征图上提取可能包括预定动作的多个候选框。

5.根据权利要求4所述的方法，其特征在于，所述经所述神经网络的候选框提取分支在所述特征图上提取可能包括预定动作的多个候选框，包括：

根据所述预定动作的特征对所述特征图中的特征进行划分，获得多个候选区域；

根据所述多个候选区域，获得所述多个候选框和所述多个候选框的第一置信度，其中，所述第一置信度为所述候选框为所述动作目标框的概率。

6.一种驾驶动作分析方法，其特征在于，包括：

经车载摄像头采集包括有驾驶员人脸图像的视频流；

通过如权利要求1至5任一所述的动作识别方法，获取所述视频流中至少一帧图像的动作识别结果；

响应于动作识别结果满足预定条件，生成分心或危险驾驶提示信息。

7.一种动作识别装置，其特征在于，包括：

第一提取单元，用于提取包括有人脸的图像的特征；

第二提取单元，用于基于所述特征提取可能包括预定动作的多个候选框；

确定单元，用于基于多个所述候选框确定动作目标框，其中，所述动作目标框包括人脸的局部区域和动作交互物；

分类单元，用于基于所述动作目标框进行预定动作的分类，获得动作识别结果。

8.一种驾驶动作分析装置，其特征在于，包括：

车载摄像头，用于采集包括有驾驶员人脸图像的视频流；

第一获取单元，用于通过如权利要求7所述的动作识别装置，获取所述视频流中至少一帧图像的动作识别结果；

生成单元，用于响应于动作识别结果满足预定条件，生成分心或危险驾驶提示信息。

9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时实现权利要求1至5任一项所述的方法，或者权利要求6所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现权利要求1至5任一项所述的方法，或者权利要求6所述的方法。