[发明专利]基于视频的人体动作识别方法、装置、介质及电子设备

权利要求书

1.一种基于视频的人体动作识别方法，其特征在于，包括：

获取视频中的多帧多人体图像，其中每帧所述多人体图像中包括有多个人体实例；

生成各帧所述多人体图像中的人体实例的检测人体边界框；

确定各帧所述多人体图像的图像场景，一种图像场景对应一类或多类动作；

基于所述多帧多人体图像的检测人体边界框和图像场景，识别所述多帧多人体图像中人体实例的动作。

2.根据权利要求1所述的方法，其特征在于，所述基于所述多帧多人体图像的检测人体边界框和图像场景，识别所述多帧多人体图像中人体实例的动作，包括：

基于所述多帧多人体图像的检测人体边界框，识别所述多帧多人体图像中人体实例的动作，得到人体实例对应多个预定义动作中每个预定义动作的初始概率；

基于所述多帧多人体图像的图像场景，对人体实例对应预定义的多类动作中每个动作的初始概率进行校正，得到每个预定义动作的校正概率；

将各帧所述多人体图像中概率最高的预定义动作作为人体实例识别出的动作。

3.根据权利要求2所述的方法，其特征在于，所述基于所述多帧多人体图像的图像场景，对人体实例对应预定义的多类动作中每个动作的初始概率进行校正，得到每个预定义动作的校正概率，包括：

基于所述多帧多人体图像的相邻检测人体边界框之间的重叠程度，以及所述多帧多人体图像的图像场景，对人体实例对应预定义的多类动作中每个动作的初始概率进行校正，得到每个预定义动作的校正概率。

4.根据权利要求3所述的方法，其特征在于，相邻检测人体边界框之间的重叠程度由相邻检测人体边界框之间的交并比表征。

5.根据权利要求3所述的方法，其特征在于，所述基于所述多帧多人体图像的相邻检测人体边界框之间的重叠程度，对人体实例对应多个预定义动作中每个预定义动作的初始概率进行校正，包括：

在所述多帧多人体图像的相邻检测人体边界框之间的重叠程度大于预定阈值的情况下，提高人体实例对应的多个预定义动作中的与多人相关的预定义动作的概率；

在所述多帧多人体图像的相邻检测人体边界框之间的重叠程度小于或等于所述预定阈值的情况下，提高人体实例对应的多个预定义动作中的与单人相关的预定义动作的概率。

6.根据权利要求2-5中任一项所述的方法，其特征在于，所述基于所述多帧多人体图像的图像场景，对人体实例对应预定义的多类动作中每个动作的初始概率进行校正，包括：

基于所述多帧多人体图像的图像场景，对于所述多帧多人体图像中处于所述图像场景所在区域上的人体实例，提高人体实例对应预定义的多类动作与确定出的图像场景对应的预定义动作的概率。

7.根据权利要求1所述的方法，其特征在于，所述生成各帧所述多人体图像中的人体实例的检测人体边界框，包括：

生成各帧所述多人体图像中的人体实例的初始人体边界框；

基于所述多人体图像与所述多人体图像的前一帧图像之间的位置差数据，对所述多人体图像的初始人体边界框进行校正得到检测人体边界框，其中所述位置差数据包括所述多人体图像中的人体实例在所述前一帧图像和所述多人体图像中的位置差；

基于所述多人体图像的检测人体边界框识别所述多人体图像中人体实例的姿态。