[发明专利]基于ReID特征的强数据关联一体化实时多目标跟踪方法

权利要求书

1.一种基于ReID特征的强数据关联一体化实时多目标跟踪方法，其特征在于，包括以下步骤：

S1：构建检测跟踪一体化模型，包括检测器模块、K个不同尺度的互相关网络CCN模块、K个不同尺度的检测头部模块和尺度感知注意力网络SAAN模块，K表示检测器模块输出的特征图尺度数量，其中：

检测器模块用于将输入图像编码为K个不同尺度的高阶语义特征图F_k，k＝1,2,…,K，然后分别输入至对应尺度的互相关网络CCN模块；

互相关网络CCN模块对于对输入的特征图F_k进行分离处理，得到特征图G_k,1和特征图G_k,2，然后将特征图G_k,1发送给对应尺度的检测头部模块，将特征图G_k,2发送给尺度感知注意力网络SAN模块；互相关网络CCN模块包括平均池化层、输入图像维度变换层、第一卷积层、第一维度变换层、第一通道注意力层、第二卷积层、第二维度变换层、第二通道注意力层、第三通道注意力层、第四通道注意力层、第一通道注意力图融合层、第一图像增强层、第三维度变换层、第二通道注意力图融合层、第二图像增强层和第四维度变换层，其中：

平均池化层用于对输入的对应尺度的特征图F_k进行平均池化操作得到特征图F′_k，记特征图F_k的大小为C_k×H_k×W_k，其中C_k表示特征图F_k的通道数量，H_k×W_k表示特征图F_k中单通道特征图的大小，记特征图F′_k的大小为C_k×H′_k×W′_k，其中H′_k×W′_k表示特征图F′_k中单通道特征图的大小，H′_k＜H_k且W′_k＜W_k；平均池化层将得到的特征图F′_k分别发送给第一卷积层和第二卷积层；

输入图像维度变换层用于将输入的大小为C_k×H_k×W_k的特征图F_k转换为大小为C_k×N_k的输入图像数据矩阵F″_k，其中N_k＝H_k×W_k，然后分别发送给第一图像增强层和第二图像增强层；

第一卷积层用于对输入的特征图F′_k进行卷积操作得到大小为C_k×H′_k×W′_k的特征图T_k,1，然后发送给第一维度变换层；

第一维度变换层用于对输入的大小为C_k×H′_k×W′_k的特征图T_k,1转换为大小为C_k×N′_k的数据矩阵M_k,1，其中N′_k＝H_k×W_k，然后发送给第一通道注意力层、第三通道注意力层和第四通道注意力层；

第一通道注意力层用于采用行向softmax根据输入的数据矩阵M_k,1计算得到大小为C_k×C_k的通道注意力图W_k,1，然后发送给第一通道注意力图融合层，通道注意力图W_k,1中每个像素值w_k,1(i,j)的计算公式如下：

其中，(i,j)表示像素点坐标，i,j＝1,2,…,C，M_k,1[i]、M_k,1[j]表示数据矩阵M_k,1中第i行、第j行向量，exp表示以自然常数e为底的指数函数；

第二卷积层用于对输入的特征图F′_k采用与第一卷积层不同的参数进行卷积操作得到大小为C_k×H′_k×W′_k的特征图T_k,2，然后发送给第二维度变换层；

第二维度变换层用于对输入的大小为C_k×H′_k×W′_k的特征图T_k,2转换为大小为C_k×N′_k的数据矩阵M_k,2，然后分别发送给第二通道注意力层、第三通道注意力层和第四通道注意力层；

第二通道注意力层用于采用行向softmax根据输入的数据矩阵M_k,2计算得到大小为C_k×C_k的通道注意力图W_k,2，然后发送给第二通道注意力图融合层，通道注意力图W_k,2中每个像素值w_k,2(i,j)的计算公式如下：

其中，M_k,2[i]、M_k,2[j]表示数据矩阵M_k,2中第i行、第j行向量；

第三通道注意力层用于采用行向softmax根据输入的数据矩阵M_k,1和数据矩阵M_k,2计算得到大小为C_k×C_k的通道注意力图W_k,3，然后发送给第一通道注意力图融合层，通道注意力图W_k,3中每个像素值w_k,3(i,j)的计算公式如下：

第四通道注意力层用于采用行向softmax根据输入的数据矩阵M_k,1和数据矩阵M_k,2计算得到大小为C_k×C_k的通道注意力图W_k,4，然后发送给第二通道注意力图融合层，通道注意力图W_k,4中每个像素值w_k,4(i,j)的计算公式如下：

第一通道注意力图融合层用于对通道注意力图W_k,1和通道注意力图W_k,3进行加权融合，得到大小为C_k×C_k的融合通道注意力图W′_k,1，然后发送给第一图像增强层，融合通道注意力图W′_k,1的计算公式如下：

W′_k,1＝λ_kW_k,1+(1-λ_k)W_k,3

其中，λ_k表示权重参数；

第一图像增强层用于对接收到的大小为C_k×N_k的输入图像数据矩阵F″_k和大小为C_k×C_k的融合通道注意力图W′_k,1进行矩阵乘法，得到大小为C_k×N_k增强的图像数据矩阵G′_k,1＝W′_k,1·F″_k，然后输入至第三维度变换层；

第三维度变换层将大小为C_k×N_k增强的图像数据矩阵G′_k,1转换为大小为C_k×H_k×W_k的特征图G_k,1，然后发送给对应尺度的检测头部模块；

第二通道注意力图融合层用于对通道注意力图W_k,2和通道注意力图W_k,4进行加权融合，得到大小为C_k×C_k的融合通道注意力图W′_k,2，然后发送给第二图像增强层，融合通道注意力图W′_k,2的计算公式如下：

W′_k,2＝λ_kW_k,2+(1-λ_k)W_k,4

第二图像增强层用于对接收到的大小为C_k×N_k的输入图像数据矩阵F″_k和大小为C_k×C_k的融合通道注意力图W′_k,2进行矩阵乘法，得到大小为C_k×N_k增强的图像数据矩阵G′_k,2＝W′_k,2·F″_k，然后输入至第四维度变换层；

第四维度变换层将大小为C_k×N_k增强的图像数据矩阵G′_k,2转换为大小为C_k×H_k×W_k的特征图G_k,2，然后发送给对应尺度的尺度感知注意力网络SAAN模块；

检测头部模块用于对接收到的对应尺度的特征图G_k,1进行目标检测，得到该尺度下的目标检测框；

尺度感知注意力网络SAAN模块用于根据接收到的K个特征图G_k,2得到目标的ReID特征向量；尺度感知注意力网络SAAN模块包括K个尺度分支处理模块、通道拼接层、通道注意力模块、拼接特征图处理层和特征向量层，其中：

尺度分支处理模块用于采用空间注意力机制对对应尺度特征图G_k,2进行处理，得到特征图Q_k,2；尺度分支处理模块包括尺度变换层、卷积层、空间注意力模块、掩膜层，其中尺度变换层用于将大小为C_k×H_k×W_k的特征图G_k,2变换至最大尺度，得到大小为的特征图G″_k,2，然后发送给卷积层和掩膜层；

卷积层用于对特征图G″_k,2进行卷积操作得到大小为的特征图P_k,2，然后发送给空间注意力模块和掩膜层；

空间注意力模块用于对特征图P_k,2生成空间注意力的掩膜图mask_k,2，然后发送给掩膜层；

掩膜层用于采用空间注意力的掩膜图mask_k,2对特征图P_k,2进行掩膜处理得到特征图Q_k,2，然后发送给通道拼接层；

通道拼接层用于将每个尺度分支处理模块得到的特征图Q_k,2拼接为大小为的拼接特征图Q₂，然后发送给通道注意力模块和拼接特征图处理层；

通道注意力模块用于根据拼接特征图Q₂生成维度为的通道注意力向量，发送给拼接特征图处理层；

拼接特征图处理层用于计算拼接特征图Q₂中每个像素点的通道向量与通道注意力向量进行对应元素相乘，然后将所得到的特征图与拼接特征图Q₂相加，得到特征图Q′₂，然后发送给特征向量层；

特征向量层用于对特征图Q′₂进行卷积操作得到大小为的特征图I，目标的ReID特征即为特征图I中目标像素点的通道向量；

S2：根据需要设置训练样本集，对步骤S1构建的跟踪一体化模型进行训练；

S3：对于需要进行多目标跟踪的视频序列中的每一帧图像，均采用检测跟踪一体化模型获取当前帧的目标检测结果和ReID特征，采用预设的跟踪机制基于目标检测结果和ReID特征获取各个目标的跟踪结果。