[发明专利]一种动作识别方法、装置及电子设备和存储介质

权利要求书

1.一种动作识别方法，其特征在于，包括：

获取目标视频段，识别所述目标视频段中每帧图像的人体关节点位置和手部关节点位置；

根据每帧所述图像的人体关节点位置和手部关节点位置构建所述目标视频段对应的无向空间时间图；

基于所述无向空间时间图提取所述目标视频段中的人体姿势特征和手部姿势特征；

将所述人体姿势特征和所述手部姿势特征输入分类器中以便完成动作识别。

2.根据权利要求1所述动作识别方法，其特征在于，所述基于所述无向空间时间图提取所述目标视频段中的人体姿势特征和手部姿势特征，包括：

利用时空图卷积网络从所述无向空间时间图中提取所述目标视频段中的人体姿势特征和手部姿势特征。

3.根据权利要求1所述动作识别方法，其特征在于，所述无向空间时间图包括点集合和边集合；

所述点集合包括第一点集合、第二点集合和第三点集合，所述第一点集合为根节点的集合，所述第二点集合为比所述根节点更靠近骨架重心的相邻节点的集合，所述第三点集合为比所述根节点更远离所述骨架重心的相邻节点的集合；

所述边集合包括描述骨骼间连接的第一边集合和描述相邻帧间的连接的第二边集合。

4.根据权利要求1至3中任一项所述动作识别方法，其特征在于，将所述人体姿势特征和所述手部姿势特征输入分类器中以便完成动作识别，包括：

将所述人体姿势特征和所述手部姿势特征输入分类器中以便得到所述目标视频段对应的每个候选动作类型的概率；

将概率最大的候选动作类型确定为所述目标视频段对应的动作类型。

5.根据权利要求1至3中任一项所述动作识别方法，其特征在于，所述获取目标视频段，包括：

获取原始视频，并将所述原始视频划分为多个时间长度为预设值的目标视频段；

相应的，将所述人体姿势特征和所述手部姿势特征输入分类器中以便完成动作识别，包括：

将所述人体姿势特征和所述手部姿势特征输入分类器中以便得到每个所述目标视频段对应的每个候选动作类型的概率；

基于每个所述目标视频段对应的每个所述候选动作类型对应的概率计算每个所述候选动作类型的概率平均值；

将概率平均值最大的候选动作类型确定为所述原始视频对应的动作类型。

6.一种动作识别装置，其特征在于，包括：

识别模块，用于获取目标视频段，识别所述目标视频段中每帧图像的人体关节点位置和手部关节点位置；

构建模块，用于根据每帧所述图像的人体关节点位置和手部关节点位置构建所述目标视频段对应的无向空间时间图；

提取模块，用于基于所述无向空间时间图提取所述目标视频段中的人体姿势特征和手部姿势特征；

输入模块，用于将所述人体姿势特征和所述手部姿势特征输入分类器中以便完成动作识别。

7.根据权利要求6所述动作识别装置，其特征在于，所述输入模块包括：

输入单元，用于将所述人体姿势特征和所述手部姿势特征输入分类器中以便得到所述目标视频段对应的每个候选动作类型的概率；

第一确定单元，用于将概率最大的候选动作类型确定为所述目标视频段对应的动作类型。

8.根据权利要求6所述动作识别装置，其特征在于，所述识别模块包括：

获取单元，用于获取原始视频，并将所述原始视频划分为多个时间长度为预设值的目标视频段；

识别单元，用于识别所述目标视频段中每帧图像的人体关节点位置和手部关节点位置；

相应的，所述输入模块包括：

输入单元，用于将所述人体姿势特征和所述手部姿势特征输入分类器中以便得到每个所述目标视频段对应的每个候选动作类型的概率；

计算单元，用于基于每个所述目标视频段对应的每个所述候选动作类型对应的概率计算每个所述候选动作类型的概率平均值；

第二确定单元，用于将概率平均值最大的候选动作类型确定为所述原始视频对应的动作类型。