[发明专利]一种跨模态神经网络构建方法、行人检索方法及系统

说明书

本发明公开了一种跨模态神经网络构建方法、行人检索方法及系统，属于数据分析检索技术领域，能够解决跨模态识别精度较低，行人识别效果较差的问题。所述方法包括：获取可见光样本图像和近红外样本图像，并对可见光样本图像和近红外样本图像进行预处理，得到可见光块序列数据和近红外块序列数据；将可见光块序列数据输入至第一自注意力机制模块中，获得可见光全局特征和可见光局部特征；并将近红外块序列数据输入至第二自注意力机制模块中，获得近红外全局特征和近红外局部特征；利用可见光全局特征、可见光局部特征、近红外全局特征和近红外局部特征训练第一神经网络，得到跨模态神经网络。本发明用于跨模态图像识别。

技术领域

本发明涉及一种跨模态神经网络构建方法、行人检索方法及系统，属于数据分析检索技术领域。

背景技术

近些年来人工智能技术在不断进步，尤其是在计算机视觉领域，从传统提取特征到现在的深度学习技术，不断推进学术界与工业界的发展。行人重识别技术是继人脸识别技术以来又一重要的以人为中心的研究领域，该领域在现实社会中具有非常重要的现实意义和商业转化前景。行人再识别(Person re-identification)目标是依托遍布各地、各场景的监控设备实现跨摄像头的行人特征提取和检索。

传统的行人重识别研究方法大多聚焦于可见光条件下人体姿态、背景、光照等的问题。此类方法主要采用行人特征提取或基于生成式的方式来实现行人再识别。而在实际的监控系统中，特别是在光照不足或者黑暗的条件下，摄像机通常需要切换到红外模式来采集行人或者目标图像，从而不得不面对日常的可见光下的行人图像与近红外跨模态下的行人再识别问题。跨模态行人检索即是对可见光状态下(自然状态)和近红外状态下(摄像机所捕捉到行人不同光谱的状态)的行人进行识别和比对。目前，该方向主要有两种思路:一种是基于近红外和可见光模态下的行人特征提取方法，比如有多个子网络分别负责近红外和可见光的图像输入，然后融合到一个共享网络，学习到融合特征；另一种是基于生成式的方式(Generative adversarial networks，GANs)将两种不同模态下的行人图像转换成同一种模态，以转化成同一个模态行人重识别过程。然而在实际应用中，上述两种方法的识别精度都不高，从而导致行人识别效果较差。

发明内容

本发明提供了一种跨模态神经网络构建方法、行人检索方法及系统，能够解决现有技术中跨模态识别精度较低，行人识别效果较差的问题。

一方面，本发明提供了一种跨模态神经网络构建方法，所述方法包括：

步骤11、获取可见光样本图像和近红外样本图像，并对所述可见光样本图像和所述近红外样本图像进行预处理，得到可见光块序列数据和近红外块序列数据；

步骤12、将所述可见光块序列数据输入至第一自注意力机制模块中，获得可见光全局特征和可见光局部特征；并将所述近红外块序列数据输入至第二自注意力机制模块中，获得近红外全局特征和近红外局部特征；

步骤13、利用所述可见光全局特征、所述可见光局部特征、所述近红外全局特征和所述近红外局部特征训练第一神经网络，得到跨模态神经网络。

可选的，所述对所述可见光样本图像和所述近红外样本图像进行预处理，得到可见光块序列数据和近红外块序列数据，具体包括：

将所述可见光样本图像和所述近红外样本图像分别拆分成多个图像块，以形成可见光块序列集和近红外块序列集；其中，所述可见光样本图像和所述近红外样本图像的图像块拆分规则相同；

将所述可见光块序列集输入至第一线性投射模块中，得到包含每个可见光图像块位置信息的可见光块序列数据；并将所述近红外块序列集输入至第二线性投射模块中，得到包含每个近红外图像块位置信息的近红外块序列数据。

可选的，所述步骤13具体包括：

将所述可见光全局特征输入至第一神经网络中，训练第一预设映射矩阵，得到可见光全局映射矩阵；

将所述可见光局部特征输入至第一神经网络中，训练第二预设映射矩阵，得到可见光局部映射矩阵；