[发明专利]动作识别方法、装置、设备及可读存储介质

权利要求书

1.一种动作识别方法，其特征在于，所述方法包括：

获取多帧图像，检测所述多帧图像包含的对象的关键点信息；

获取所述多帧图像包含的对象中的目标对象的关键点信息；

根据所述目标对象的关键点信息，生成所述目标对象的关键点时序图；

基于所述关键点时序图对包含所述目标对象的每帧目标图像进行动作分类和进程回归，得到每帧目标图像的动作分类结果和动作进程结果；

根据所述每帧目标图像的动作分类结果和动作进程结果输出所述目标对象的动作识别结果；

其中，基于所述关键点时序图对包含所述目标对象的每帧目标图像进行进程回归，得到每帧目标图像的动作进程结果，包括：

对于所述关键点时序图中的每帧目标图像，根据动作开始帧的位置T₁、动作结束帧的位置T₂及每帧的位置T₃，按照如下公式确定每帧的动作进程P₃，得到每帧目标图像的动作进程结果：P₃＝(T₃-T₁+1)/(T₂-T₁+1)。

2.根据权利要求1所述的方法，其特征在于，所述检测所述多帧图像包含的对象的关键点信息，包括：

获取关键点识别模型，采用所述关键点识别模型对所述多帧图像包含的对象的关键点进行识别，得到所述多帧图像包含的对象的关键点信息。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

对每帧图像进行尺寸调整；

所述采用所述关键点识别模型对所述多帧图像包含的对象的关键点进行识别，包括：

采用所述关键点识别模型对尺寸调整后的多帧图像包含的对象的关键点进行识别。

4.根据权利要求1所述的方法，其特征在于，所述获取所述多帧图像包含的对象中的目标对象的关键点信息，包括：

根据所述多帧图像包含的对象的关键点信息确定每个对象的外接矩形框；

根据每个对象的外接矩形框对目标对象进行跟踪匹配，基于跟踪匹配结果得到所述目标对象的关键点信息。

5.根据权利要求1所述的方法，其特征在于，所述根据所述目标对象的关键点信息，生成所述目标对象的关键点时序图，包括：

对所述目标对象的关键点信息按照时序进行累计，得到所述目标对象的关键点时序图，所述关键点时序图的行数为包含所述目标对象的图像的帧数，所述关键点时序图的列数为关键点个数，所述关键点时序图的通道数为坐标维度。

6.根据权利要求1所述的方法，其特征在于，基于所述关键点时序图对包含所述目标对象的每帧目标图像进行动作分类，得到每帧目标图像的动作分类结果，包括：

获取动作分类模型，采用所述动作分类模型，基于所述关键点时序图中包含所述目标对象的每帧目标图像的关键点信息对每帧目标图像进行动作分类，得到每帧目标图像的动作分类结果。

7.根据权利要求6所述的方法，其特征在于，所述采用所述动作分类模型，基于所述关键点时序图中包含所述目标对象的每帧目标图像的关键点信息对每帧目标图像进行动作分类，得到每帧目标图像的动作分类结果，包括：

采用所述动作分类模型提取所述关键点时序图中包含所述目标对象的每帧目标图像的骨架数据，根据每帧目标图像的骨架数据获取每帧目标图像的骨架运动数据；

提取所述骨架运动数据的特征，将提取的特征在通道维度上进行拼接，得到拼接后的特征；

基于拼接后的特征对每帧目标图像进行动作分类。

8.根据权利要求1所述的方法，其特征在于，所述根据所述每帧目标图像的动作分类结果和动作进程结果输出所述目标对象的动作识别结果，包括：

若第一参考数量帧的目标图像中，动作分类结果和动作进程结果均满足条件，且对于相同动作分类结果的图像数量达到第二参考数量帧，则将所述相同的动作分类结果对应的动作作为识别结果进行输出。