[发明专利]行人重识别模型的训练方法及行人重识别方法

权利要求书

1.一种行人重识别模型的训练方法，包括：

利用所述行人重识别模型的特征提取器提取行人的多模态图像的特征，得到所述行人的多模态特征，其中，所述多模态特征包括可见光特征和红外特征；

利用所述行人重识别模型的模态级对齐模块处理所述多模态特征，得到所述行人的多模态补全特征，其中，所述多模态补全特征包括可见光补全特征和红外补全特征；

根据预设查询特征，利用所述行人重识别模型的实例级对齐模块处理所述多模态补全特征，得到多模态查询结果，其中，所述多模态查询结果包括可见光查询结果和红外查询结果；

根据所述多模态特征、所述多模态补全特征、所述预设查询特征和所述多模态查询结果，利用损失函数优化所述行人重识别模型；

迭代进行特征提取操作、模态级对齐处理操作、实例级对齐处理操作和优化操作，直到所述损失函数的值满足预设条件，得到训练完成的行人重识别模型。

2.根据权利要求1所述的方法，其中，所述利用所述行人重识别模型的模态级对齐模块处理所述多模态特征，得到所述行人的多模态补全特征包括：

将所述可见光特征划分成多个局部可见光特征；

利用所述模态级对齐模块的表示编码器处理所述局部可见光特征，获取所述局部可见光特征的上下文信息；

根据所述局部可见光特征的上下文信息，利用所述模态级对齐模块的模态补偿解码器生成可见光补偿特征；

将所述可见光补偿特征和所述红外特征进行融合，得到所述红外补全特征。

3.根据权利要求1所述的方法，其中，所述利用所述行人重识别模型的模态级对齐模块处理所述多模态特征，得到所述行人的多模态补全特征还包括：

将所述红外特征划分成多个局部红外特征；

利用所述模态级对齐模块的表示编码器处理所述局部红外特征，获取所述局部红外特征的上下文信息；

根据所述局部红外特征的上下文信息，利用所述模态级对齐模块的模态补偿解码器生成红外补偿特征；

将所述红外补偿特征和所述可见光特征进行融合，得到所述可见光补全特征。

4.根据权利要求1所述的方法，其中，所述根据预设查询特征，利用所述行人重识别模型的实例级对齐模块处理所述多模态补全特征，得到多模态查询结果包括：

利用所述实例级对齐模块对所述多模态补全特征进行池化预处理，得到预处理后的多模态补全特征；

根据所述预设查询特征，利用所述实例级对齐模块的查询自适应调制器生成调制参数；

根据所述调制参数和所述预处理后的多模态补全特征，生成所述多模态查询结果。

5.根据权利要求4所述的方法，其中，所述多模态查询结果由公式（1）表示：

（1），

其中，表示所述多模态查询结果，表示所述多模态补全特征，和表示所述调制参数；

其中，所述调制参数由公式（2）和公式（3）表示：

（2），

（3），

其中，GAP表示全局平均池化函数，表示用于生成调制参数的神经网络，表示用于生成调制参数的神经网络。