[发明专利]端对端的多行人姿态跟踪方法、装置及电子设备

权利要求书

1.一种端对端的多行人姿态跟踪方法，其特征在于，包括：

获取待检测视频，并对所述待检测视频进行行人检测和姿态估计，获得所述待检测视频中各图像帧的目标检测框，所述图像帧包括多个所述目标检测框；

针对每个待处理的图像帧，将图像对和所述图像对中每个图像帧的所述目标检测框输入至特征提取网络，获得所述特征提取网络输出的每个所述目标检测框的层级卷积特征，所述层级卷积特征包括多层卷积特征，所述图像对包括所述待处理的图像帧和所述待处理的图像帧的前一帧；

分别将每个所述层级卷积特征的每层卷积特征的各个通道特征输入至基于通道注意力机制的网络，获得所述基于通道注意力机制的网络输出的所述通道特征的基于通道注意力描述的最终特征，每层所述卷积特征包括多个所述通道特征；

对所述图像对中每个图像帧的特征矩阵进行处理，得到特征通量，并将所述特征通量输入至相似度估计网络，获得所述相似度估计网络输出的相似度矩阵，所述特征矩阵包括所述基于通道注意力描述的最终特征；

根据所述相似度矩阵中每一行的峰值旁瓣比，为正向相似度矩阵中的增广列的元素赋值，以获得正向相似度矩阵，并根据相似度矩阵中每一列的峰值旁瓣比，为反向相似度矩阵中的增广行的元素赋值，以获得反向相似度矩阵；

根据所述正向相似度矩阵，生成正向预测矩阵，并根据所述反向相似度矩阵，生成反向预测矩阵；

根据所述正向预测矩阵和所述反向预测矩阵，生成所述待处理的图像帧和所述待处理的图像帧的前一帧之间的数据关联矩阵；

根据所述数据关联矩阵，基于所述待处理的图像帧的前一帧各目标检测框对所述待处理的图像帧各目标检测框进行身份分配，以获得所述待处理的图像帧的跟踪结果。

2.如权利要求1所述的方法，其特征在于，根据所述相似度矩阵中每一行的峰值旁瓣比，为正向相似度矩阵中的增广列的元素赋值，以获得正向相似度矩阵，并根据相似度矩阵中每一列的峰值旁瓣比，为反向相似度矩阵中的增广行的元素赋值，以获得反向相似度矩阵，包括：

通过公式计算所述相似度矩阵中每一行元素的峰值旁瓣比，其中，为所述相似度矩阵的第i行的峰值旁瓣比，为第i行元素的标准差；

判断所述第i行的峰值旁瓣比是否小于第一预设阈值；

当所述第i行的峰值旁瓣比小于所述第一预设阈值，将所述增广列中的第i行设为1；当所述第i行的峰值旁瓣比大于或等于所述第一预设阈值，将所述增广列中的第i行设为0；

通过公式计算所述相似度矩阵中每一列元素的峰值旁瓣比，其中，为所述相似度矩阵的第j列的峰值旁瓣比，为第j列元素的标准差；

判断所述第j列的峰值旁瓣比是否小于第二预设阈值；

当所述第j列的峰值旁瓣比小于所述第二预设阈值，将所述增广行中的第j列设为1；当所述第j列的峰值旁瓣比大于或等于所述第二预设阈值，将所述增广列中的第j列设为0；

其中，S为所述相似度矩阵，S_i为所述相似度矩阵S的行，S_j为所述相似度矩阵的列。

3.如权利要求1所述的方法，其特征在于，根据所述正向相似度矩阵，生成正向预测矩阵，并根据所述反向相似度矩阵，生成反向预测矩阵，包括：

利用softmax函数对所述正向相似度矩阵的行进行逐点式操作，生成所述正向预测矩阵；

利用所述softmax函数对所述反向相似度矩阵的列进行逐点式操作，生成所述反向预测矩阵。

4.如权利要求1所述的方法，其特征在于，根据所述正向预测矩阵和所述反向预测矩阵，生成所述待处理的图像帧和所述待处理的图像帧的前一帧之间的数据关联矩阵，包括：

去掉所述正向预测矩阵的最后一列，得到目标正向预测矩阵；

去掉所述反向预测矩阵的最后一行，得到目标反向预测矩阵；

通过公式生成所述待处理的图像帧和所述待处理的图像帧的前一帧之间的数据关联矩阵；

其中，为所述数据关联矩阵，为所述目标正向预测矩阵，为所述目标反向预测矩阵。