[发明专利]一种动作识别方法、装置、设备及存储介质

权利要求书

1.一种动作识别方法，其特征在于，包括：

根据待识别视频中各视频帧的人体骨骼关键点，确定各视频帧的浅层特征；

获取所述各视频帧的图像特征；

根据所述浅层特征和所述图像特征得到各视频帧的动作特征；

将各视频帧的动作特征输入动作识别模型，得到各视频帧的动作识别结果，所述动作识别结果包括动作的状态和状态概率；

根据各视频帧的动作识别结果确定各视频帧的目标动作的执行状态；

其中，所述根据各视频帧的动作识别结果确定各视频帧的目标动作的执行状态，包括：

根据动作的状态概率对动作的状态排序，并根据排序结果确定各视频帧的动作的目标状态；

对于每个视频帧，根据所述视频帧的动作的目标状态和所述视频帧的前T个视频帧的动作的目标状态，确定所述视频帧的目标动作的执行状态；

其中，所述对于每个视频帧，根据所述视频帧的动作的目标状态和所述视频帧的前T个视频帧的动作的目标状态，确定所述视频帧的目标动作的执行状态，包括：

对于每个视频帧，所述视频帧的动作的目标状态为目标动作的起始状态，则确定所述视频帧的目标动作正在执行；

所述视频帧的动作的目标状态为目标动作的中间状态且所述视频帧的前T个视频帧的动作的目标状态中存在所述目标动作的起始状态，则确定所述视频帧的目标动作正在执行；

所述视频帧的动作的目标状态为目标动作的结束状态且所述视频帧的前T个视频帧的动作的目标状态中存在所述目标动作的起始状态和中间状态，则确定所述视频帧的目标动作结束。

2.根据权利要求1所述的方法，其特征在于，通过如下方式训练所述动作识别模型：

获取训练样本，所述训练样本包括两个或两个以上训练视频帧和各训练视频帧的原始动作状态，并将训练样本划分为训练集和验证集；

根据各训练视频帧的人体骨骼关键点，确定各训练视频帧的浅层特征；

获取各训练视频帧的图像特征；

根据各训练视频帧的浅层特征和图像特征得到各训练视频帧的动作特征；

将所述训练集中各训练视频帧的动作特征作为输入变量，所述训练集中各训练视频帧的原始动作状态作为输出变量，训练分类器，得到待校验动作识别模型；

将所述验证集中各训练视频帧的动作特征输入待校验动作识别模型，得到所述验证集中各训练视频帧的预测动作状态，并根据所述验证集中各训练视频帧的原始动作状态和预测动作状态构建混淆矩阵；

根据所述混淆矩阵调整各训练视频帧的原始动作状态，继续训练所述待校验动作识别模型，直至各训练视频帧的原始动作状态的识别率大于等于识别率阈值，则将训练完成的待校验动作识别模型作为所述动作识别模型。

3.根据权利要求1所述的方法，其特征在于，所述浅层特征包括静态特征、四肢特征、对称特征和动态特征；

通过如下公式计算所述各视频帧的静态特征、对称特征和动态特征：

其中，p^(t)表示第t视频帧的人体骨骼关键点的坐标集合，K表示第t视频帧中包含的人体骨骼关键点的个数，表示第t视频帧的第i人体骨骼关键点的坐标，i∈[0,1,......,K-1]，表示第t视频帧的第j人体骨骼关键点的坐标，j∈[2,4，......，K-2]；(x^(t),y^(t))表示第t视频帧中左肩到右肩连线的几何中心，l^(t)表示第t视频帧中左肩到右胯距离和右肩到左胯距离的平均值；表示第t视频帧的静态特征，表示第t-τ视频帧的静态特征，表示第t-2τ视频帧的静态特征；表示第t视频帧的对称特征；表示第t视频帧的动态特征。

4.根据权利要求1所述的方法，其特征在于，所述获取所述各视频帧的图像特征，包括：

将所述各视频帧输入图像特征识别模型，得到各视频帧的图像特征，所述图像特征识别模型基于神经网络训练生成。