[发明专利]基于注意力机制的全局特征和局部特征的行人再识别方法

权利要求书

1.一种基于注意力机制的全局特征和局部特征的行人再识别方法，其特征在于包括以下步骤：

步骤1、使用基于深度学习的卷积神经网络模型提取输入图像的基础深度特征，将行人特征图送入全局特征和局部特征分支中，分别提取行人的全局特征和局部特征；

步骤2、在全局特征分支中，以整个行人特征图像作为输入，并将其送入空间注意力机制模块和通道注意力机制模块，然后将两个模块的特征表示进行融合；

步骤3、在局部特征分支中，首先把行人特征图水平平均分割为三部分，然后将分割的三部分输入到通道注意力机制模块，对应得到每一部分的局部特征；

步骤4、将全局特征和局部特征送入特征向量提取模块，得到用于行人预测的特征向量；

步骤5、以交叉熵损失为目标函数对整体网络进行训练，得到基于注意力机制的全局特征和局部特征的行人再识别模型。

2.根据权利要求1所述的基于注意力机制的全局特征和局部特征的行人再识别方法，其特征在于：所述步骤1的具体实现方法为：

将输入图像缩放到统一尺寸384×128，以Resnet50卷积神经网络架构作为预训练的基础卷积神经网络并去除其最后的下采样和全连接层，得到尺寸大小为24×8的行人特征图，将产生的行人特征图作为输入分别送至全局特征分支和局部特征分支，分别提取行人的全局特征和局部特征。

3.根据权利要求1所述的基于注意力机制的全局特征和局部特征的行人再识别方法，其特征在于：所述步骤2的具体实现方法包括以下步骤：

(1)将由基础网络产生的特征图分别送入空间注意力模块和通道注意力模块中；

(2)在空间注意力模块里，首先经过一个3×3的卷积，将原特征图的维度由1024降低到512，将得到的特征图分别经过三个1×1的卷积、批归一化和ReLU操作，得到三个特征图{X，Y，Z}∈R^C×H×W，其中，X，Y，Z分别为三个特征图中的一个特征图，R^C×H×W表示维度为C×H×W的域，其中，C表示通道数，H表示特征图的高度，W表示特征图的宽度；然后将特征图X和Y的维度压缩到R^C×M，其中，M＝H×W，表示将图像的高度H和宽度W两个维度压缩为一个维度M；最后将特征图Y的转置和特征图X做矩阵乘法，得到空间注意力矩阵S∈R^M×M，注意力矩阵S的元素s_ij的计算公式如下：

其中，s_ij表示第i个位置对第j个位置的影响，将特征图Z的转置和空间注意力矩阵S做矩阵乘法，并将结果维度扩至R^C×H×W，最后与原特征图相加，得到空间注意力加权的特征图；

(3)在通道注意力机制中，首先经过一个3×3的卷积，将原特征图的维度由1024降低到512；然后将原特征图分别进行全局最大值池化和全局均值池化，经过全连接层、ReLU、全连接层以及sigmoid操作，将得到的结果与原特征图做元素相乘，再将两个结果做元素相加，得到通道注意力加权的特征图；

⑷将空间注意力加权的特征图和通道注意力加权的特征图进行元素相加。

4.根据权利要求1所述的基于注意力机制的全局特征和局部特征的行人再识别方法，其特征在于：所述步骤3的具体实现方法包括以下步骤：

⑴将由基础网络产生的特征图水平方向平均切割为三部分，将结果送入通道注意力模块中；

⑵在通道注意力机制中，每一个部分都经过相同的操作，首先经过一个3×3的卷积，将原特征图的维度由1024降低到512，然后将原特征图分别进行全局最大值池化和全局均值池化，经过全连接层、ReLU、全连接层以及sigmoid操作，将得到的结果与原特征图做元素相乘，最后将两个结果做元素相加得到三个部分的通道注意力加权的特征图。