[发明专利]跨模态行人重识别方法、装置、电子设备及存储介质

说明书

本发明公开了一种跨模态行人重识别方法、装置、电子设备及存储介质，包括：获取含有行人的图像信息；将含有行人的图像信息输入预先训练的神经网络中，得到行人的特征向量；预先训练的神经网络包括至少两个子神经网络，每个所述子神经网络对应输入不同模态含有行人的图像信息；基于行人的特征向量对图像信息中的行人进行重识别。由于神经网络在训练阶段基于不同模态含有行人的图像信息进行训练，使得训练得到的神经网络能够提高不同模态相同行人的图像的特征向量的相似度，以提高跨模态行人重识别的精度。

技术领域

本发明涉及人工智能技术领域，具体涉及一种跨模态行人重识别方法、装置、电子设备及存储介质。

背景技术

行人重识别是指根据所获取的行人图像，在不同拍摄设备所拍摄的图像中检索该行人图像中的行人，跨模态行人重识别则是指在不同模态的图像中检索行人图像中的行人，例如RGB图像和红外图像为不同模态的图像，这样在RGB图像和红外图像中同时进行检索的方式即为跨模态行人重识别。

现有技术在进行行人重识别时，一般是用神经网络模型提取行人的特征向量，然后比较行人的特征向量之间的相似度，将最相似的特征向量对应的图像作为检索结果。然而，按照现有方式训练得来的神经网络模型无法提高不同模态相同行人的图像的特征向量的相似度，即无法提高类内跨模态特征向量相似度，因此导致跨模态行人重识别的精度较差。

发明内容

本发明主要解决的技术问题是如何提高跨模态行人重识别的精度。

根据第一方面，一种实施例中提供一种跨模态行人重识别方法，包括：

获取含有行人的图像信息；

将所述含有行人的图像信息输入预先训练的神经网络中，得到行人的特征向量；所述预先训练的神经网络包括至少两个子神经网络，每个所述子神经网络对应输入含有行人的不同模态图像信息；

基于所述行人的特征向量对图像信息中的行人进行重识别。

进一步地，所述预先训练的神经网络通过以下方式训练得到：

构建神经网络；

获取多模态训练图像数据集，所述多模态训练图像数据集包括至少两个模态的图像信息，所述至少两个模态的图像信息含有相同行人；

将所述多模态训练图像数据集输入所述神经网络中进行训练，其中每个模态的图像信息输入对应的所述子神经网络中。

进一步地，所述将所述多模态训练图像数据集输入所述神经网络中进行训练包括：

将所述多模态训练图像数据集中每个模态的图像信息输入对应的所述子神经网络中，得到至少两个行人的特征向量；所述每个模态的图像信息包含有相同行人；

将所述至少两个行人的特征向量拼接为一个特征向量，计算该特征向量的交叉熵损失值、中心损失值和异质中心损失值；

基于所述特征向量的交叉熵损失值、中心损失值和异质中心损失值，确定所述神经网络的损失值，再基于所述神经网络的损失值，调节所述神经网络的网络参数；

重复将所述多模态训练图像数据集中每个模态的图像信息输入对应的子神经网络中，基于所述神经网络的损失值调节所述神经网络的网络参数，直至所述神经网络的损失值稳定且不再变小为止。

进一步地，所述基于所述特征向量的交叉熵损失值、中心损失值和异质中心损失值，确定所述神经网络的损失值包括：

通过以下公式确定所述神经网络的损失值：

L＝Lce+λ1*Lcenter+λ2*Lhc

其中，L为神经网络的损失值，Lce为交叉熵损失值，Lcenter为中心损失值，Lhc为异质中心损失值，λ1和λ2为系数。