[发明专利]基于通道重组和注意力机制的跨模态行人重识别方法

权利要求书

1.一种基于通道重组和注意力机制的跨模态行人重识别方法，其特征在于，包含如下内容：

构建用于对输入数据进行特征向量提取并进行特征匹配的跨模态行人重识别模型，并利用行人图像数据集对模型进行训练，其中，跨模态行人重识别模型利用分组卷积和通道重组操作来挖掘红外模态和可见光模态下行人的图像共享特征，利用注意力机制挖掘行人的局部特征，并利用特征向量相似度来进行特征匹配；

利用已训练的跨模态行人识别模型分别提取红外模态和可见光模态下的目标行人特征向量，并通过两个模态下目标行人特征向量的特征匹配来完成跨模态行人重识别。

2.根据权利要求1所述的基于通道重组和注意力机制的跨模态行人重识别方法，其特征在于，跨模态行人重识别模型包含：用于特征提取的ResNet-50主干网络，嵌在ResNet-50主干网络中用于分组卷积和通道重组的模态内特征通道分组重组模块，用于挖掘模态内特征通道分组重组模块输出特征向量中局部特征的聚合特征注意力模块，及用于对不同模态下特征信息进行交互融合的跨模态自适应图结构模块。

3.根据权利要求2所述的基于通道重组和注意力机制的跨模态行人重识别方法，其特征在于，模态内特征通道分组重组模块中，首先，对ResNet-50主干网络获取的特征图进行分组，每组分别进行卷积运算后再进行特征拼接，将拼接后的特征作为分组卷积操作的输出特征；然后，对分组卷积操作输出特征进行通道重组，通过融合多通道特征来获取含有判别力的特征图。

4.根据权利要求1或2或3所述的基于通道重组和注意力机制的跨模态行人重识别方法，其特征在于，分组卷积操作处理过程表示如下：其中，y_i表示每个分组卷积输出的特征，x表示输入特征，W_j,b_j分别表示每个分组卷积的权值和偏置值，f表示ReLU激活函数，N表示输出特征个数，G表示分组数。

5.根据权利要求1或2或3所述的基于通道重组和注意力机制的跨模态行人重识别方法，其特征在于，通道重组操作中，将特征分为n组，总通道数设置为n×m，首先，按照通道维度拆分为[n,m]两个维度，并进行第一次特征维度重塑；随后，将两个维度进行转置操作，得到[m,n]；最后，通过第二次特征维度重塑。

6.根据权利要求5所述的基于通道重组和注意力机制的跨模态行人重识别方法，其特征在于，通道重组操作处理过程表示如下：F(x)＝F_r2(F_T(F_r1(x)))，其中，F_r1代表第一次特征维度重塑，F_T代表转置操作，F_r2代表第二次特征维度重塑。

7.根据权利要求1所述的基于通道重组和注意力机制的跨模态行人重识别方法，其特征在于，利用注意力机制挖掘行人局部特征中，利用通道注意力机制及空间注意力机制获取输入特征的第一特征映射，利用位置注意力机制获取输入特征的第二特征映射；将第一特征映射和第二特征映射进行相加来获取作为输出的特征映射。