[发明专利]基于深度多示例学习的少样本行人重识别方法

权利要求书

1.一种基于深度多示例学习的少样本行人重识别方法，其特征在于，包含以下步骤：

A1、在原始域对行人重识别网络进行预训练初始化；

A2、将目标域带标签的少量样本作为基准行人图片，将未标注的样本作为候选行人图片，对所有行人图片进行特征提取；

A3、计算基准行人图片与每一候选行人图片的特征距离，根据特征距离对候选行人图片进行排序，并对任一基准行人图片，从候选行人图片集中挑选置信度高的候选图片；

A4、对任一一对基准行人图片和候选图片，进行行人关键点检测，并根据检测到的关键点对关键点区域进行截取交换，生成新的行人图片，实现数据集扩充；

A5、利用扩展的数据集进行数据重组，来对网络微调；

A6、迭代重复A2-A5，直至网络收敛，实现重识别网络迁移扩展；

A7、在目标域上，给定待检测行人以及候选行人，利用A6训练得到的网络进行特征提取和匹配，实现行人重识别。

2.如权利要求1所述基于深度多示例学习的少样本行人重识别方法，其特征在于，A5中的网络微调，是利用重组的数据集进行网络训练梯度回传，对特征提取子网络和特征聚合子网络进行参数微调；

A1中进行预训练初始化时，利用原始域带标签的训练数据对特征提取子网络进行训练学习，并将学习的参数作为特征提取子网络应用到目标域的初始参数。

3.如权利要求2所述基于深度多示例学习的少样本行人重识别方法，其特征在于，A5中进行数据重组时，将扩充的数据集由单个示例的训练集，重组成多示例的包训练集，对于任一基准行人图片，从由其扩充的数据集中随机挑选部分图片组成一个包；每个包包含一张基准行人图片及若干个由其扩充的新的行人图片。

4.如权利要求3所述基于深度多示例学习的少样本行人重识别方法，其特征在于，所述的特征提取子网络，对输入的行人图片或者包中所包含的图片示例进行特征提取；

所述特征提取子网络的参数由预训练时得到的参数进行初始化，之后根据特征聚合子网络回传的梯度对特征提取子网络的参数进行更新微调。

5.如权利要求3所述基于深度多示例学习的少样本行人重识别方法，其特征在于，所述的特征聚合子网络将包中多示例特征聚合成统一的维度；将特征聚合子网络拼接在特征提取子网络的末端，并在其末端衔接两层全连接层作为分类器，利用包的标签同时对特征提取子网络和特征聚合子网络进行训练微调；网络训练输入单位为包，包的标签为其包含的基准行人图片的标签。

6.如权利要求5所述基于深度多示例学习的少样本行人重识别方法，其特征在于，所述的特征聚合子网络利用词袋模型对每个包中的特征进行聚合，包含以下过程：

步骤B1：对目标域中未标注的训练图片利用k-means算法聚类成C类，聚类得到的聚类中心特征作为词袋模型中的特征；

步骤B2：给定任一训练包，利用欧氏距离计算包中每一示例图片特征与聚类中心特征的距离：

其中，f_u表示包中维度为D的示例图片特征，c_t表示维度为D聚类中心特征；

步骤B3：添加指数运算到B1的公式中：

步骤B4：利用1x1卷积层和softmax激活层来产生输出每一示例图片隶属于C个聚类中心特征的隶属度：

其中，w和b为1x1卷积层中通道数为C的参数和偏置项；

步骤B5：结合B3和B4中的公式，将包中多示例特征聚合成统一的维度，即由原来的示例层面的特征聚合成包层面的特征：

其中，