[发明专利]一种动作识别方法、装置、设备及存储介质

说明书

本发明公开了一种动作识别方法、装置、设备及存储介质。该方法包括：根据待识别视频中各视频帧的人体骨骼关键点，确定各视频帧的浅层特征；获取各视频帧的图像特征；根据浅层特征和图像特征得到各视频帧的动作特征；将各视频帧的动作特征输入动作识别模型，得到各视频帧的动作识别结果，动作识别结果包括动作的状态和状态概率；根据各视频帧的动作识别结果确定各视频帧的目标动作的执行状态。本发明实施例中动作特征融合了浅层特征和图像特征，提高了动作识别的准确度。在确定每个视频帧的目标动作的执行状态时，不仅根据该视频帧的动作识别结果，还结合其它视频帧的动作识别结果，从而进一步提高了动作识别的准确度。

技术领域

本发明实施例涉及计算机视觉技术，尤其涉及一种动作识别方法、装置、设备及存储介质。

背景技术

动作识别是计算机视觉领域中最具有挑战性的研究方向之一，被广泛应用于移动端的娱乐互动领域，如实时短视频制作、直播实时交互和体感游戏等。

现有技术中，通常采用如下两种方式对动作进行识别，具体的：方式一、将视频的RGB图像和光流信息输入卷积神经网络，得到视频中所包含的动作类型；方式二、采用人体骨骼关键点识别算法得到各视频帧的人体骨骼关键点，并将人体骨骼关键点输入卷积神经网络，得到视频中所包含的动作类型以及人体骨骼关键点的位置信息和速度信息。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：针对方式一，由于仅能得到视频中所包含的动作类型，而无法得出人体骨骼关键点的位置信息和速度信息，因此，使得上述方式的灵活性和扩展性受到限制。针对方式二，由于人体骨骼关键点识别算法对光照、环境和运动速度比较敏感，因此，经常会出现人体骨骼关键点丢失或人体骨骼关键点偏离真实位置等情况，上述使得动作识别的准确度不高。

发明内容

本发明实施例提供一种动作识别方法、装置、设备及存储介质，以提高动作识别的准确度。

第一方面，本发明实施例提供了一种动作识别方法，该方法包括：

根据待识别视频中各视频帧的人体骨骼关键点，确定各视频帧的浅层特征；

获取所述各视频帧的图像特征；

根据所述浅层特征和所述图像特征得到各视频帧的动作特征；

将各视频帧的动作特征输入动作识别模型，得到各视频帧的动作识别结果，所述动作识别结果包括动作的状态和状态概率；

根据各视频帧的动作识别结果确定各视频帧的目标动作的执行状态。

第二方面，本发明实施例还提供了一种动作识别装置，该装置包括：

浅层特征确定模块，用于根据待识别视频中各视频帧中的人体骨骼关键点，确定各视频帧的浅层特征；

图像特征获取模块，用于获取所述各视频帧中的图像特征；

动作特征获取模块，用于根据所述浅层特征和所述图像特征得到各视频帧的动作特征；

动作识别结果获取模块，用于将各视频帧的动作特征输入动作识别模型，得到各视频帧的动作识别结果，所述动作识别结果包括动作的状态和状态概率；

执行状态确定模块，用于根据各视频帧的动作识别结果确定各视频帧的目标动作的执行状态。

第三方面，本发明实施例还提供了一种设备，该设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例第一方面所述的方法。