[发明专利]一种用于视频行人重识别的视频序列编码与解码方法

说明书

本发明公开了一种用于视频行人重识别的视频序列编码与解码方法，该方法在训练阶段，通过将标签图片特征与视频特征融合后输入生成器，然后使用标签图片作为重建标签，并以图像重建损失约束生成器生成的关键帧；然后将生成的关键帧送入图像特征提取模块进行视频特征恢复，并通过特征重建损失约束恢复出的视频特征，使其和原视频特征性能一致。在应用阶段，先用HSV‑Top‑K的方法挑选出K帧图片用于生成关键帧，然后将生成的关键帧，存入设备中，以降低存储开销。在需要检索时，用图像特征提取模块对生成的关键帧进行视频特征恢复，恢复出的特征保留了视频特征的性能，用于行人的检索匹配。

技术领域

本发明属于计算机视觉图像检索领域，尤其涉及一种用于视频行人重识别的视频序列编码与解码方法。

背景技术

行人重识别旨在一系列跨摄像头的监控视频中，检索到用户指定的行人；广泛应用于智慧城市，安防监控。

根据不同的输入图片的数量，行人重识别可以分为视频行人重识别和图像行人重识别。相比于使用单帧图像作为输入的图像行人重识别，视频行人重识别使用视频序列作为输入，对环境干扰具有更高的鲁棒性。但是视频行人重识别需要存储大量的视频序列，在实际应用中会导致巨大的存储开销，增加视频行人重识别的应用成本。同时，在应用阶段由于每个视频序列的长度不同，不适合批处理，导致计算开销大。

发明内容

本发明的目的在于针对现有技术的不足，提供一种用于视频行人重识别的视频序列编码与解码方法。

本发明的目的是通过以下技术方案来实现的：一种用于视频行人重识别的视频序列编码与解码方法，包括以下步骤：

(1)搭建神经网络：

(11)搭建视频特征提取模块：

(111)将第一卷积网络最后一次降采样的步长设置为1。

(112)将第一卷积网络后面依次加上时间平均池化模块、第一空间平均池化模块、第一批标准化模块。

(12)搭建生成器：生成器包括多层上采样卷积和一个卷积层，上采样的次数与第一卷积网络降采样的次数相同，所述卷积层的输入和输出特征图大小相同。

(13)搭建图像特征提取模块：

(131)将第二卷积网络最后一次降采样的步长设置为1。

(132)在第二卷积网络后依次接第二空间平均池化模块、第二批标准化模块。

(2)取视频序列中K帧，取K帧之一为标签帧，用于训练步骤一搭建的神经网络；视频特征提取模块的输入为视频序列的K帧，时间平均池化模块的输出为视频特征，视频特征再经过第一空间平均池化模块、第一批标准化模块后输出；生成器的输入为时间平均池化模块输出的视频特征和标签帧在第一卷积网络的输出，输出为关键帧；图像特征提取模块的输入为关键帧，输出为关键帧中的视频特征。

(3)取待识别视频序列中的K帧，指定一个为标签帧，将K帧视频序列输入步骤二训练好的视频特征提取模块和生成器，保存生成器输出的关键帧；在需要检索时，将保存的关键帧输入步骤二训练好的图像特征提取模块恢复关键帧中的视频特征，用于行人检索。

进一步地，所述步骤(2)包括以下子步骤：

(21)从视频序列中随机挑选K张图片输入视频特征提取模块。

(22)在选出的K张图片中任选一帧作为标签帧，并将视频特征与标签帧特征融合后送入生成器进行上采样，输出生成的关键帧，并使用图像重建损失函数L_irec引导关键帧的重建。