[发明专利]基于一致性学习的跨场景持续学习的行人再识别方法及装置在审
申请号: | 202210058995.1 | 申请日: | 2022-01-19 |
公开(公告)号: | CN114419672A | 公开(公告)日: | 2022-04-29 |
发明(设计)人: | 冼宇乔;郑伟诗;葛汶杭;吴岸聪 | 申请(专利权)人: | 中山大学 |
主分类号: | G06V40/10 | 分类号: | G06V40/10;G06V20/52;G06V10/74;G06V10/774;G06V10/82;G06N3/04;G06N3/08;G06K9/62 |
代理公司: | 广州市华学知识产权代理有限公司 44245 | 代理人: | 李斌 |
地址: | 510275 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 一致性 学习 场景 持续 行人 识别 方法 装置 | ||
1.基于一致性学习的跨场景持续学习的行人再识别方法,其特征在于,包括下述步骤:
将旧场景数据和新场景数据混合,随机抽样后分批次依次并行输入预先设立的旧场景模型和新场景模型,同时得到每一个批次的数据的原始特征;
将原始特征输入伪任务数据转换模块,分别得到每一个原始特征经过场景风格转换后对应的旧场景特征和新场景特征;所述伪任务数据转换模块是将一个来自于场景(s)的行人图像变换到场景(t)的分布下,而身份保持不变,从而得到同一个行人在不同的场景下的风格的训练数据;
在旧场景特征上计算域内和域间跨场景一致性损失函数,进行伪任务身份辨别性学习;所述跨场景一致性损失函数用于最小化同一个输入样本在不同的伪任务特征变换下不一致性;
计算旧场景特征样本和新场景特征样本的两两相似度,进行伪任务知识蒸馏;
把新场景特征输入新场景的分类器后计算交叉熵损失函数,进行身份辨别性学习;
计算每一个样本对应的旧场景特征和新场景特征距离,进行跨场景一致性学习。
2.根据权利要求1所述基于一致性学习的跨场景持续学习的行人再识别方法,其特征在于,所述原始特征包括:旧场景下采集到的数据经过深度卷积神经网络提取的图像特征;以及新场景下采集到的数据经过深度卷积神经网络提取的图像特征。
3.根据权利要求1所述基于一致性学习的跨场景持续学习的行人再识别方法,其特征在于,所述伪任务数据转换模块进行场景转换具体为:
对于某个特定场景下采集的数据集,每个卷积核对应的批归一化层中的每一个特征通道都会有两个统计统计量,均值μ(s)和方差σ(s),计算公式如下:
其中,fi(s)代表CNN提取的第i个样本样本特征向量,N代表训练一个小批次的样本量,(s)代表当前场景的编号;
所述批归一化层是通过滑动平均的方式统计均值和方差以及用反向传播算法更新可学习的缩放系数γ和偏移系数β,将神经网络模型的每一层的所有通道的输出映射到一个高斯分布中,批归一化层的参数反映了一个数据集的样本在各个特征通道上的整体分布特征;
对于来自某个场景(s)下的编号为i的样本特征fi(s),使用另一个场景(t)的任务独享批归一化的统计量将其转换到场景(t)下的风格,得到转换后特征fi(s,t),如以下公式所示:
其中,γ和β分别代表批归一化层的缩放系数和偏移系数,μ(t)和σ(t)分别代表场景(t)的任务独享批归一化层的均值统计量和方差统计量;其中,在学习不同的场景时,不同批归一化层使用共享的缩放系数γ和偏移系数β来保持跨域学习中的连续性。
4.根据权利要求1所述基于一致性学习的跨场景持续学习的行人再识别方法,其特征在于,所述跨场景一致性损失函数的表达如下:
其中,D是余弦距离度量函数,fi(s)是来自场景(s)的编号为i的原始样本特征,N代表训练一个小批次的样本量,Pi代表数据集中和当前所选样本身份标签相同的图像集合,S代表当前已经学习过的场景数量,Stop-grad代表梯度停止回传标志。该损失函数的作用是使得所有身份标签和当前样本相同的样本经过伪任务数据转换模块得到的特征和原始特征fi(s)尽可能接近;使用梯度停止模块stop_grad来防止模型在学习新的数据时更新旧的批归一化层的参数,并通过更新网络卷积层参数的方式来使得特征适应新的场景。
5.根据权利要求1所述基于一致性学习的跨场景持续学习的行人再识别方法,其特征在于,所述相似度的计算方法如下:
在训练过程中的每一个小批次内,使用特征提取网络经过全局池化后的高维特征向量作为样本特征,计算小批次内所有样本的两两相似度,得到相似度矩阵,并以这个矩阵和学生模型的输出的相似度的矩阵的差值作为优化目标,使得学生模型提取的相似度矩阵信息接近于教师模型,从而保留在旧场景里的辨别能力。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中山大学,未经中山大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210058995.1/1.html,转载请声明来源钻瓜专利网。