[发明专利]一种用于行人重识别的数据增强方法及系统

说明书

本发明公开了一种用于行人重识别的数据增强方法及系统，经过数据增强后得到的输入图像，经过神经网络处理，能够得到一个图像的特征向量。该特征向量随后通过损失函数处理，得到整体的算法误差。根据误差，进行反向传播，完成一轮训练。本发明通过对人体指定部位进行Drop，增强了神经网络对于形态各异、遮挡程度各异的行人图像的重识别能力。其中，人体关键点检测用于在图像中检测到人体关键点的坐标。随后按照某种策略对人体进行基于关键点的拆分。再随后，在每一轮训练中，对所有图都丢弃相同的某一部分人体图像，以此达到数据增强的效果。

技术领域

本发明涉及深度学习领域，尤其涉及一种用于行人重识别的数据增强方法及系统。

背景技术

在基于深度学习的计算机视觉算法中，Drop被定义为“丢弃”，即在神经网络的一次训练(包括前向传播与反向传播)中，对某些对象进行“丢弃”，使其在一次训练中不发挥作用。Drop传统上是一种用来缓解神经网络训练中过拟合的有效途径。

一个Batch，是指一次训练中，输入神经网络的图像数量。

行人重识别，英文为Person Re-Identification，是一种横跨图像分类与图像检索之间的、利用人的外观特征(尤其强调不利用人脸信息)对人身份进行识别的研究方向。

人体关键点，是指通过深度学习的方法，将一张图像中人身上的某些关键点标注出来。常用的开源算法有Openpose或AlphaPose。

现有的行人重识别技术方案，在Drop角度来看，有传统的Dropout以及RandomDrop，或者是前两年新出现的Patch Drop，以及Batch Dropout方案。在基于人体关键点的研究方向上，主流的都是将人体基于关键点进行拆分，然后进行对应部位的匹配校正，并在此基础上再进行识别。

现有的Drop方案，或者是对神经元进行Dropout，或者是对输入图像进行RandomDrop，或者是进行Patch Drop，或者是Batch DropBlock。这些方案都是对图像进行随机丢弃。这能增加神经网络一定的鲁棒性，但是：

因为是随机丢弃的，而且行人重识别的输入图像中是同时存在前景(人)，以及背景(非人)内容的，因而随机丢弃并不能保证能够丢弃到对描述人体特征非常有帮助的部位。因而算法的稳定性并不好，且更容易受到极端样本的影响。

现有的基于人体关键点的研究方向上，都是需要进行基于人体关键点的拆分与人体图像校正，并基于此通过加权的方式来衡量身体各部位对整体识别的影响大小。但是，因为行人的姿态是多种多样的，因而送入神经网络以供识别的图像，其姿态也是多种多样。当从侧面拍摄人的图像时，在图像中，人的左右肩及左右胯，在图像中会重叠到一起。且人体的胳膊、大腿等肢体部位，都会受到不同程度的遮挡。在这种情况下，人体关键点检测算法检测到的，左右肩和左右胯的关键点很容易重合在一起，无法区分。而原本存在于大腿及胳膊上的关键点，也会因为遮挡的原因部分或全部丢失。这一方面是人体关键点检测算法的局限性所致，另一方面也是人体姿态的多样性所致。在目前的技术水平下，这种叠加与丢失，总会导致输入的人体图像样本在分布上存在不均衡的情况，进而会影响神经网络整体上的性能，即使检测到了也是叠加到其他部位上。在这个过程中，受限于人体关键点检测算法性能的局限，以及复杂人体姿态的限制，会使得缺少不同身体部位的输入图像样本不均衡，会影响神经网络整体上的性能。

发明内容

针对上述问题，本发明提供一种用于行人重识别的数据增强方法及系统，用于解决现有的随机丢弃导致的训练效率不高、结果不好的问题，并解决人体姿态多样性导致的各种姿态、各种遮挡下带来的训练样本不均衡的问题。

本发明通过以下技术方案实现：

一种用于行人重识别的数据增强方法，包括以下步骤：

S1.创建图像预设模板；