[发明专利]一种动作识别方法、装置及电子设备和存储介质

说明书

本申请公开了一种动作识别方法、装置及一种电子设备和计算机可读存储介质，该方法包括：获取目标视频段，识别所述目标视频段中每帧图像的人体关节点位置和手部关节点位置；根据每帧所述图像的人体关节点位置和手部关节点位置构建所述目标视频段对应的无向空间时间图；基于所述无向空间时间图提取所述目标视频段中的人体姿势特征和手部姿势特征；将所述人体姿势特征和所述手部姿势特征输入分类器中以便完成动作识别。本申请提供的动作识别方法，通过结合人体姿势和手部姿势，利用无向空间时间图对人体关节点位置和手部关节点位置在时间和空间上建模，可以识别视频中复杂的动作。

技术领域

本申请涉及机器人技术领域，更具体地说，涉及一种动作识别方法、装置及一种电子设备和一种计算机可读存储介质。

背景技术

近年来，人类动作识别在视频理解和人机交互中起着至关重要的作用，人类动作识别的准确性和时效性将直接影响机器人与人的协作成功率。同时，机器人通过识别人类动作能够更好的理解人类的行为动机，从而更好的协助人类日常工作，加快工作效率。

动作识别在计算机视觉邻域是一项具有挑战性的任务，在相关技术中采用双流卷积网络提取视频帧的RGB特征和光流特征，并在空间和时间上进行建模以进行动作识别。上述方案存在一定的局限性，例如，在背景嘈杂、光照变化和外观变化的情况下识别效果不好。另外，对于一些复杂、精细的动作，例如切片、搅拌等，识别效果不好。

因此，如何实现复杂动作的识别是本领域技术人员需要解决的技术问题。

发明内容

本申请的目的在于提供一种动作识别方法、装置及一种电子设备和一种计算机可读存储介质，实现了复杂动作的识别。

为实现上述目的，本申请提供了一种动作识别方法，包括：

获取目标视频段，识别所述目标视频段中每帧图像的人体关节点位置和手部关节点位置；

根据每帧所述图像的人体关节点位置和手部关节点位置构建所述目标视频段对应的无向空间时间图；

基于所述无向空间时间图提取所述目标视频段中的人体姿势特征和手部姿势特征；

将所述人体姿势特征和所述手部姿势特征输入分类器中以便完成动作识别。

其中，所述基于所述无向空间时间图提取所述目标视频段中的人体姿势特征和手部姿势特征，包括：

利用时空图卷积网络从所述无向空间时间图中提取所述目标视频段中的人体姿势特征和手部姿势特征。

其中，所述无向空间时间图包括点集合和边集合；

所述点集合包括第一点集合、第二点集合和第三点集合，所述第一点集合为根节点的集合，所述第二点集合为比所述根节点更靠近骨架重心的相邻节点的集合，所述第三点集合为比所述根节点更远离所述骨架重心的相邻节点的集合；

所述边集合包括描述骨骼间连接的第一边集合和描述相邻帧间的连接的第二边集合。

其中，将所述人体姿势特征和所述手部姿势特征输入分类器中以便完成动作识别，包括：

将所述人体姿势特征和所述手部姿势特征输入分类器中以便得到所述目标视频段对应的每个候选动作类型的概率；

将概率最大的候选动作类型确定为所述目标视频段对应的动作类型。

其中，所述获取目标视频段，包括：

获取原始视频，并将所述原始视频划分为多个时间长度为预设值的目标视频段；

相应的，将所述人体姿势特征和所述手部姿势特征输入分类器中以便完成动作识别，包括：