[发明专利]一种基于生成网络的行人重识别数据生成和扩充方法

权利要求书

1.一种基于生成网络的行人重识别数据生成和扩充方法，其特征在于：包括以下步骤：

第一步：基于无监督的视频预测生成网络，形成行人视频预测生成网络P；

第二步：对行人视频中的每一个图像序列s＝(s⁰,...,s^T-1)，均经过第一步中的行人视频预测生成网络P生成新的视频帧序列p＝(p⁰,...,p^T-1)，并同原始视频帧计算生成目标损失函数L并反传进行优化迭代，得到最优模型；其中，s^T-1表示第T帧原始图像，p^T-1表示第T帧预测图像，上标T表示序列长度；

第三步：在整个待扩充行人数据集上对第二步得到的最优模型进行应用，对待扩充行人数据集中的每一个行人视频帧，优化得到新的预测帧，并加入到待扩充行人数据集中进行类内视频长度的扩充，得到类内生成数据，用于减少由于数据量不足带来的过拟合现象；

第四步：基于传统生成对抗网络，形成行人图片生成对抗网络N，其中行人图片生成对抗网络N包含主要由卷积网络构成的生成单元G和描述单元D；

第五步：对待扩充行人数据集中的每一张输入图片s(t)，均经过第四步中的行人图片生成对抗网络N的生成单元G，通过生成单元G生成新的图片o(t)；

第六步：对待扩充行人数据集中的每一张输入图片s(t)所对应的原始背景替换图y(t)和对应的生成图片o(t)，均经过第四步中的行人图片生成对抗网络N的描述单元D，通过描述单元D中的损失函数L_C(G,D)判别二者的差异损失，并将损失函数L_C(G,D)分别反向传播于生成单元G和描述单元D进行对抗迭代优化；

第七步：加入一范数损失函数，用于减少生成图片的模糊程度；

第八步：最大化描述单元D的损失，用于使网络能够区分生成图片和原始图片；最小化生成单元G的损失，用于使生成图片能够接近原始图片；进行第六步的对抗迭代优化，得到最优的端到端的背景替换数据生成模型G^*；

第九步：应用第八步的背景替换数据生成模型G^*得到新的端到端的背景替换生成图片；将背景替换生成图片加入待扩充行人数据集中进行类间数据扩充，得到类间生成数据，用于增加数据集的多样性，减少背景干扰；

第十步：利用第三步得到的类内生成数据和第九步得到的类间生成数据对待扩充行人数据集进行扩充，得到最终的扩充数据集，并将最终的扩充数据集送入特征提取网络中提取特征并用欧氏距离评估性能。

2.根据权利要求1所述的基于生成网络的行人重识别数据生成和扩充方法，其特征是：第一步中，所述行人视频预测生成网络P包含四个主要由卷积网络构成的单元，分别为：输入卷积单元A、循环卷积单元R、输出预测单元以及损失计算单元E，其中：

所述输入卷积单元A用于接收并对输入图片进行卷积操作；

所述循环卷积单元R用于对输入图片进行循环卷积操作，并保留序列信息；

所述输出预测单元用于预测对应图像的输出；

所述损失计算单元E用于计算输入图像和预测图像之间的性能损失；

所述输入卷积单元A、循环卷积单元R、输出预测单元以及损失计算单元E的输出分别为：

其中，为输入卷积单元A的输出；为输出预测单元的输出；为损失计算单元E的输出；为循环卷积单元R的输出；l代表单元层的个数；t代表当帧图像在序列中的位置；s^t代表第t+1帧图像；Conv代表经过卷积操作；

ReLU代表经过激活层操作操作；Maxpool代表经过最大值池化操作；

convLSTM代表经过全卷积网络构成的长短时记忆单元层操作；Usample代表经过上采样层操作。

3.根据权利要求1所述的基于生成网络的行人重识别数据生成和扩充方法，其特征是：第二步中，所述目标损失函数L为：

其中，λ_t表示赋予序列的每一帧输入图像的权重系数，λ_l表示赋予每一重单元层的权重系数，n_l表示固定参数，表示在第l个单元层对第t帧输入图像通过网络后计算出的损失，t表示图像帧数，l表示单元层数。