[发明专利]端对端的多行人姿态跟踪方法、装置及电子设备

说明书

本申请公开了一种端对端的多行人姿态跟踪方法、装置、电子设备及介质，用于提高姿态跟踪准确率。方法包括：通过行人检测和姿态估计，获得视频各帧的目标检测框；针对每帧均执行以下过程：利用特征提取网络，获得将当前帧和前一帧中各目标检测框的层级卷积特征；基于层级卷积特征，利用基于通道注意力机制的网络获得最终特征，然后基于包括最终特征的特征矩阵和相似度估计网络获得相似度矩阵，接着为增广行和增广列进行赋值，得到正向相似度矩阵和反向相似度矩阵；并基于正向相似度矩阵和反向相似度矩阵，生成当前帧和前一帧之间的数据关联矩阵，最后根据数据关联矩阵，对当前图像帧各目标检测框进行身份分配，以获得当前帧的跟踪结果。

技术领域

本申请属于计算机视觉技术领域，尤其涉及一种端对端的多行人姿态跟踪方法、装置、电子设备及计算机可读存储介质。

背景技术

多目标姿态跟踪旨在一段连续的视频中估计出多个人的姿态，并在不同视频帧中准备地关联他们的身份，在行为识别、多媒体分析、事件检测等多个视觉领域具有广泛的应用。

目前，姿态跟踪方法通常首先检测出视频图像中的所有行人框，然后再估计出行人框内的人体关键点，最后通过构建数据关联来实现行人框在不同视频帧之间的身份关联。

然而，现有的数据关联方式往往采用特征学习、相似度估计和身份分配三个独立的步骤来实现，并且，相似度估计和身份分配这两个步骤常常是采用手工设计的模型，模型泛化能力较低，这样导致姿态跟踪过程不能实现有效的数据关联，姿态跟踪准确率较低。

发明内容

本申请实施例提供了一种端对端的多行人姿态跟踪方法、装置、电子设备及计算机可读存储介质，可以解决现有姿态跟踪准确率较低的问题。

第一方面，本申请实施例提供了一种基于端对端的多行人姿态跟踪方法，包括：

获取待检测视频，并对待检测视频进行行人检测和姿态估计，获得待检测视频中各图像帧的目标检测框，图像帧包括多个目标检测框；

针对每个待处理的图像帧，将图像对和图像对中每个图像帧的目标检测框输入至特征提取网络，获得特征提取网络输出的每个目标检测框的层级卷积特征，层级卷积特征包括多层卷积特征，图像对包括待处理的图像帧和待处理的图像帧的前一帧；

分别将每个层级卷积特征的每层卷积特征的各个通道特征输入至基于通道注意力机制的网络，获得基于通道注意力机制的网络输出的通道特征的基于通道注意力描述的最终特征，每层卷积特征包括多个通道特征；

对图像对中每个图像帧的特征矩阵进行处理，得到特征通量，并将特征通量输入至相似度估计网络，获得相似度估计网络输出的相似度矩阵，特征矩阵包括基于通道注意力描述的最终特征；

根据相似度矩阵中每一行的峰值旁瓣比，为正向相似度矩阵中的增广列的元素赋值，以获得正向相似度矩阵，并根据相似度矩阵中每一列的峰值旁瓣比，为反向相似度矩阵中的增广行的元素赋值，以获得反向相似度矩阵；

根据正向相似度矩阵，生成正向预测矩阵，并根据反向相似度矩阵，生成反向预测矩阵；

根据正向预测矩阵和反向预测矩阵，生成待处理的图像帧和待处理的图像帧的前一帧之间的数据关联矩阵；

根据数据关联矩阵，基于待处理的图像帧的前一帧各目标检测框对待处理的图像帧各目标检测框进行身份分配，以获得待处理的图像帧的跟踪结果。

由上可见，本申请实施例通过特征提取网络和基于通道注意力机制的网络，提取出各个目标检测框的特征，并在相似度度量时采用相似度估计网络生成相似度矩阵，并对相似度都矩阵进一步增广，获得正向相似度矩阵和反向相似度矩阵，这两个矩阵可以解决跟踪过程中“旧目标消失”和“新目标进来”的问题，为当前帧和前一帧之间的目标检测框提供双向感知的数据关联方式，实现了有效的数据关联，从而提高了姿态跟踪准确率。