[发明专利]视频动作的识别方法、装置、设备及存储介质

说明书

本发明实施例公开了一种视频动作的识别方法、装置、设备及存储介质。该方法包括：根据当前视频帧和至少一个前向视频帧，确定所述当前视频帧的动作类别和动作定位信息；根据各视频帧的动作类别和动作定位信息，确定视频的动作内容。本发明实施例提供的视频动作的识别方法，根据当前视频帧和至少一个前向视频帧，确定当前视频帧的动作类别和动作定位信息，可以提高动作类别识别的稳定性及动作定位信息识别的平滑性。

技术领域

本发明实施例涉及动作识别技术领域，尤其涉及一种视频动作的识别方法、装置、设备及存储介质。

背景技术

随着计算机视觉和机器学习等相关技术的快速发展，人机交互技术越来越受到重视。在人机交互中，需要对用户的身体信息进行识别如人脸识别、手势识别及体势识别等。其中，手势识别可以作为直观的交流方式而具有重要的研究价值和意义。

视频手势识别通常应用在需要强交互的应用场景中，在对用户的手势进行持续的定位与识别时，会面临诸如背景复杂、运动模糊、动作不标准等不可控因素。

现有技术中对视频中图像进行的手势识别处理，无法保证手势识别结果的稳定性及平滑性。

发明内容

本发明实施例提供一种视频动作的识别方法、装置、设备及存储介质，可以提高动作识别结果的稳定性及平滑性。

第一方面，本发明实施例提供了一种视频动作的识别方法，该方法包括：

根据当前视频帧和至少一个前向视频帧，确定所述当前视频帧的动作类别和动作定位信息；

根据各视频帧的动作类别和动作定位信息，确定视频的动作内容。

进一步地，根据当前视频帧和至少一个前向视频帧，确定所述当前视频帧的动作类别和动作定位信息包括：

获取当前视频帧，确定所述当前视频帧的动作识别结果；其中，所述动作识别结果包括动作类别及动作定位信息；

根据至少一个前向视频帧的动作类别，对所述当前视频帧的动作类别进行修正，获取所述当前视频帧的目标动作类别；

根据至少一个前向视频帧的动作定位信息，对所述当前视频帧的动作定位信息进行修正，获取所述当前视频帧的目标动作定位信息。

进一步地，获取当前视频帧，确定所述当前视频帧的动作类别，包括：

将所述当前视频帧输入动作识别模型，获得至少一个设定动作类别的置信度；

选取置信度最高的设定动作类别，作为所述当前视频帧的动作类别。

进一步地，根据至少一个前向视频帧的动作类别，对所述当前视频帧的动作类别进行修正，获取所述当前视频帧的目标动作类别，包括：

将至少一个所述前向视频帧和所述当前视频帧中各设定动作类别的置信度进行求和；

获取求和之后置信度最高的设定动作类别；

若至少一个所述前向视频帧和所述当前视频帧的动作类别中，与求和之后置信度最高的设定动作类别相同的数量超过设定数量，则将求和之后置信度最高的设定动作类别确定为目标动作类别；

若至少一个所述前向视频帧和所述当前视频帧的动作类别中，与求和之后置信度最高的设定动作类别相同的数量未超过设定数量，则将所述当前视频帧的动作类别确定为目标动作类别。

进一步地，所述动作定位信息包括动作框的宽、动作框的高以及动作框的中心坐标。

进一步地，根据至少一个前向视频帧的动作定位信息，对所述当前视频帧的动作定位信息进行修正，获取所述当前视频帧的目标动作定位信息，包括：

对于动作框的宽或动作框的高，获取增益因子；