[发明专利]人体行为的识别方法、装置、计算机设备和存储介质

说明书

本申请涉及一种人体行为的识别方法、装置、计算机设备和存储介质。方法包括：从目标视频的视频帧图像中截取指定的区域图像；在区域图像提取各人体不同部位的关键点；对各不同部位的关键点进行组合，得到多个关键点集合；其中，各关键点集合中均存在至少三个部位的关键点，且不同关键点集合中之间至少存在一个不同部位的关键点；针对每个关键点集合，在当前关键点集合内，计算以目标部位的关键点为顶点分别指向剩余部位的关键点的射线所形成的夹角，直至得到每个关键点集合对应的夹角；基于各夹角确定人体对应的人体行为。采用本方法提高了人体行为识别算法的实时性，且极大的降低了计算量。

技术领域

本申请涉及计算机视觉技术领域，特别是涉及一种人体行为的识别方法、装置、计算机设备和存储介质。

背景技术

随着计算机视觉技术的发展，出现了人体关键点检测技术，人体关键点检测(Human Keypoints Detection)又称为人体姿态估计，是计算机视觉中一个相对基础的任务，是人体动作识别、行为分析、人机交互等的前置任务。传统的人体关键点检测技术大多数采用基于自上而下(top-down)架构的算法，基于自上而下架构的算法精度高，但存在计算量大，实时性不高的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种人体行为的识别方法、装置、计算机设备和存储介质。

一种人体行为的识别方法，所述方法包括：

从目标视频的视频帧图像中截取指定的区域图像；

在所述区域图像提取各人体各不同部位的关键点；

对各不同所述部位的关键点进行组合，得到多个关键点集合；其中，各所述关键点集合中均存在至少三个所述部位的关键点，且不同所述关键点集合中之间至少存在一个不同所述部位的关键点；

针对每个所述关键点集合，在当前所述关键点集合内，计算以目标部位的关键点为顶点分别指向剩余部位的关键点的射线所形成的夹角，直至得到每个所述关键点集合对应的夹角；

基于各所述夹角确定所述人体对应的人体行为；所述人体行为，用于生成对应的多媒体指令，以根据所述多媒体指令对多媒体设备进行控制。

在其中的一个实施例中，所述从目标视频的图像帧中截取指定的区域图像包括：

对目标视频进行解码，得到视频帧图像序列；

在所述视频帧图像序列中选取当前视频帧图像；

从所述当前视频帧图像中截取指定的区域图像。

在其中的一个实施例中，所述在所述区域图像提取各人体不同部位的关键点包括：

通过机器学习模型对所述区域图像进行关键点提取，得到各人体不同部位的关键点；

所述对各不同所述部位的关键点进行组合，得到多个关键点集合之前，所述方法还包括：

通过所述机器学习模型确定所述关键点的坐标；

从各所述人体不同部位的坐标中，选出关于各所述人体左右对称的各不同所述部位的坐标，形成坐标对；

当在水平方向上所述坐标对中人体右侧部位的坐标大于人体左侧部位的坐标时，判定所述坐标对对应的所述人体为背对人体；

将所述背对人体对应的各所述关键点进行删除。

在其中的一个实施例中，所述对各不同所述部位的关键点进行组合，得到多个关键点集合之前，所述方法还包括：

对所述区域图像中各所述人体的不同部位进行热力计算，得到各相同所述部位分别对应的关键点热力图；