[发明专利]一种多摄像头的人体动作识别方法及装置

权利要求书

1.一种多摄像头的人体动作识别方法，其特征在于，包括：

分别对待识别视频包含的各图像集合中的视频图像进行人体检测，获得各人体区域图像，其中，所述待识别视频中包含有各图像集合，所述各图像集合是从不同角度拍摄的视频图像的集合，所述各图像集合中分别包含有多个时间点的视频图像；

分别针对各时间点，将同一个人体对应的各人体区域图像进行关联，并分别对关联的各人体区域图像进行人体关键点检测，确定所述关联的各人体区域图像中包含的人体关键点的二维坐标，并分别通过预设的转换方式将各二维坐标转换为三维坐标，计算各三维坐标的坐标平均值，分别将确定出的各坐标平均值，作为所述各时间点中人体关键点的三维关键点坐标；

根据确定出的各三维关键点坐标，对所述待识别视频中包含的人体进行动作识别，获得所述人体的人体动作类别；

其中，根据确定出的各三维关键点坐标，对所述待识别视频中包含的人体进行动作识别，获得所述人体的人体动作类别，具体包括：分别针对各视频帧，对所述各三维关键点坐标进行高斯模糊处理，获得人体区域图像的三维关键点热图；根据所述各三维关键点热图，以及所述各时间点，确定各人体关键点的速度信息；分别根据各二维关键点坐标和所述速度信息，对所述各人体区域图像进行特征提取，确定所述待识别视频的特征向量；基于已训练的全连接网络模型，以所述特征向量为输入参数，对所述待识别视频中的人体动作进行识别，获得所述待识别视频对应的人体动作类别，其中，所述全连接网络模型为根据包含人体动作类别的图像样本集进行迭代训练获得的。

2.如权利要求1所述的方法，其特征在于，分别对关联的各人体区域图像进行人体关键点检测之前，进一步包括：

基于已训练的图像质量检测模型，以所述人体区域图像为输入参数，确定所述人体区域图像的图像质量分值，其中，所述图像质量检测模型为根据人体区域图像样本集通过迭代训练获得的，所述人体区域图像样本集中包含各人体区域图像样本；

确定所述人体区域图像的图像质量分值大于等于预设分数阈值。

3.如权利要求1所述的方法，其特征在于，分别对关联的各人体区域图像进行人体关键点检测之前，进一步包括：

确定所述人体区域图像的图像宽度值，并确定所述人体区域图像的图像高度值；

确定所述图像宽度值大于等于预设宽度阈值，且所述图像高度值大于等于预设高度阈值。

4.如权利要求1所述的方法，其特征在于，将同一个人体对应的各人体区域图像进行关联，并分别对关联的各人体区域图像进行人体关键点检测，确定所述关联的各人体区域图像中包含的人体关键点的二维坐标，具体包括：

基于已训练的图像关联模型，以各人体区域图像为输入参数，将同一个人体对应的各人体区域图像进行关联，建立所述同一个人体与各人体区域图像之间的关联关系，确定与所述同一个人体关联的各人体区域图像；

基于已训练的人体关键点识别模型，以所述关联的各人体区域图像为输入参数，对所述关联的各人体区域图像进行人体关键点检测，确定所述关联的各人体区域图像的各人体关键点的二维坐标和对应的属性信息，其中，所述属性信息为可见或不可见。

5.如权利要求4所述的方法，其特征在于，计算各三维坐标的坐标平均值，分别将确定出的各坐标平均值，作为所述各时间点中人体关键点的三维关键点坐标，具体包括：

分别将各三维坐标转换为世界坐标系下的三维坐标；

计算世界坐标系下的各三维坐标的坐标平均值，并将计算获得的各坐标平均值，作为所述各时间点中人体关键点的三维关键点坐标。

6.如权利要求5所述的方法，其特征在于，计算世界坐标系下的各三维坐标的坐标平均值，具体包括：

计算所述属性信息为可见的关联的各人体区域图像的世界坐标系下的各三维坐标的坐标平均值。