[发明专利]一种基于行人检测、属性学习和行人识别的行人检索增强方法

摘要

本发明公开了一种基于行人检测、属性学习和行人识别的行人检索增强方法，包括行人检测、行人重识别、行人属性预测，通过使用行人检测损失函数、属性分类损失函数和身份分类损失函数，利用属性和身份标签通过训练框架识别行人在图像中的位置，最终的损失函数。本发明通过开发一个多任务的深度学习框架来解决行人检索问题，该框架在单个卷积神经网络中综合考虑了行人检测、行人重识别和行人属性预测，提高检索精度。

主权项

1.一种基于行人检测、属性学习和行人识别的行人检索增强方法，其特征在于，包括如下步骤：S1、行人检测从行人图像中检测行人，使用Faster‑RCNN作为检测器，该检测器通过共享卷积特性将RPN和Fast R‑CNN合并为一个网络，作为一个全卷积网络，RPN可以同时预测每个位置的目标边界和得分；当检测行人时，首先通过RPN生成高质量的区域建议，然后使用Fast R‑CNN网络进行检测；建立Faster R‑CNN具有跟踪多任务损失的目标函数，图像特定的损失函数定义为：其中L_cls表示分类损失，即超过两个类的log损失,回归损失采用其中R为L1正则化项；p_i表示锚点为物体的预测概率，t_i为描述预测边界框坐标的四维向量，通过上述损失函数训练网络可以使网络具备行人检测能力，可以在复杂的真实场景图像中确定行人所在的区域；S2、行人属性预测对于从实际场景图像中检测出的行人特征图，对该行人进行属性预测，采用多个行人属性手工标注PRW数据集；每个行人有N个属性，使用N个全连接层和N个softmax损失函数来训练行人属性预测器；将行人样本x分配给属性类k的概率可以表示为其中k属于1到n之间，其中n为属性类数；同样的，属性分类损失函数可以表示为令y为真实属性标签，那么对于所有的k≠y，q(y)＝1和q(k)＝0，其它的符号和基本的softmax损失函数相同；S3、行人重识别利用半监督在线实例匹配损失来进行身份识别，在训练阶段可以有效地同时考虑带标签的身份和未带标签的身份，其目标是最大限度地提高同一个人实例之间的特征相似性，并使不同人之间的特征相似性最小化；在训练阶段，将一个批次内已标记的特征向量记为x∈R^d，其中d为特征维度；查找表V∈R^d*L用于存储所有标记身份的特性；对于未标记身份，使用循环序列U∈R^d*Q存储该批次内未标记的特征，其中Q为序列大小；在正向传播过程中，利用V^Tx计算批次内样本x和所有已标记标签的余弦相似度；在反向传播过程中，如果目标分类为t，那么查找表的第t列将通过V_t←γV_t+(1‑γ)x，其中γ∈[0，1]，同时查找表的第t列需要进行L2正则化；同时利用V^Tx计算批次内样本x和所有为标记身份的余弦相似度，每次迭代后，将新的特征向量加入队列，并删除过期的特征向量，通过下面的softmax函数计算x被识别为i的身份的概率:其中τ是一个表示概率分布的尺度参数，可以用类似的方法计算x被识别为循环序列中的第i个未标记身份的概率；OIM损失的目标是最大化期望L_id＝E_x[logp_t]；OIM损失的主要优点是它可以有效的比较批次内样本和所有的标记及未标记的身份；S4、通过使用行人检测损失函数、属性分类损失函数和身份分类损失函数，利用属性和身份标签通过训练框架识别行人在图像中的位置，最终的损失函数定义为：其中L_det，L_id和L_att分别表示行人检测，身份分类和属性分类的交叉熵损失。