[发明专利]行人重识别模型的训练方法及行人重识别方法

说明书

本发明公开了一种行人重识别模型的训练方法，包括：利用行人重识别模型的特征提取器提取行人的多模态图像的特征，得到行人的多模态特征；利用行人重识别模型的模态级对齐模块处理多模态特征，得到行人的多模态补全特征；根据预设查询特征，利用行人重识别模型的实例级对齐模块处理多模态补全特征，得到多模态查询结果；根据多模态特征、多模态补全特征、预设查询特征和多模态查询结果，利用损失函数优化行人重识别模型；迭代进行特征提取操作、模态级对齐处理操作、实例级对齐处理操作和优化操作，直到损失函数的值满足预设条件，得到训练完成的行人重识别模型。本发明还公开了一种行人重识别方法及装置、电子设备和存储介质。

技术领域

本发明涉及计算机视觉领域，特别涉及一种行人重识别模型的训练方法、行人重识别方法及装置、电子设备以及存储介质。

背景技术

行人重识别是一项跨摄像头跨场景下搜寻与匹配目标行人的技术。行人重识别技术可以与行人检测、行人跟踪技术相结合，在视频监控、智能安防、刑事侦查等方面有着广泛应用。

现有技术中，行人重识别方法存在多模态特征表达能力受限、重识别准确率低等问题。

发明内容

有鉴于此，本发明提供了一种行人重识别模型的训练方法、行人重识别方法及装置、电子设备以及存储介质，以期能至少解决上述问题之一。

根据本发明的第一个方面，提供了一种行人重识别模型的训练方法，包括：

利用行人重识别模型的特征提取器提取行人的多模态图像的特征，得到行人的多模态特征，其中，多模态特征包括可见光特征和红外特征；

利用行人重识别模型的模态级对齐模块处理多模态特征，得到行人的多模态补全特征，其中，多模态补全特征包括可见光补全特征和红外补全特征；

根据预设查询特征，利用行人重识别模型的实例级对齐模块处理多模态补全特征，得到多模态查询结果，其中，多模态查询结果包括可见光查询结果和红外查询结果；

根据多模态特征、多模态补全特征、预设查询特征和多模态查询结果，利用损失函数优化行人重识别模型；

迭代进行特征提取操作、模态级对齐处理操作、实例级对齐处理操作和优化操作，直到损失函数的值满足预设条件，得到训练完成的行人重识别模型。

根据本发明的实施例，上述利用行人重识别模型的模态级对齐模块处理多模态特征，得到行人的多模态补全特征包括：

将可见光特征划分成多个局部可见光特征；

利用模态级对齐模块的表示编码器处理局部可见光特征，获取局部可见光特征的上下文信息；

根据局部可见光特征的上下文信息，利用模态级对齐模块的模态补偿解码器生成可见光补偿特征；

将可见光补偿特征和红外特征进行融合，得到红外补全特征。

根据本发明的实施例，上述利用行人重识别模型的模态级对齐模块处理多模态特征，得到行人的多模态补全特征还包括：

将红外特征划分成多个局部红外特征；

利用模态级对齐模块的表示编码器处理局部红外特征，获取局部红外特征的上下文信息；

根据局部红外特征的上下文信息，利用模态级对齐模块的模态补偿解码器生成红外补偿特征；

将红外补偿特征和可见光特征进行融合，得到可见光补全特征。

根据本发明的实施例，上述根据预设查询特征，利用行人重识别模型的实例级对齐模块处理多模态补全特征，得到多模态查询结果包括：

利用实例级对齐模块对多模态补全特征进行池化预处理，得到预处理后的多模态补全特征；