[发明专利]深度对抗度量学习方法及装置

说明书

本发明公开了一种深度对抗度量学习方法及装置，其中，方法包括：从训练集中提取出图像的深度特征并生成三元组；根据三元组中的负样本通过生成器将三元组中的负样本转化为对度量训练有信息的难样本；获取难样本在度量空间下的表示，并同时训练整个网络，以得到图片在度量空间下的表示。该方法可以对已有的难样本进行补充，有效提高度量的鲁棒性，实现了对深度度量学习方法性能的提高。

技术领域

本发明涉及计算机视觉与机器学习技术领域，特别涉及一种深度对抗度量学习方法及装置。

背景技术

度量学习在视觉分析中起着非常大的作用，其目的在于学习一个可以衡量图像对之间相似度的距离度量，以提高接下来分类或者聚类任务的正确率。度量学习可以广泛地应用于多种视觉应用中，如人脸识别，行人再识别，目标跟踪，物体识别和血缘关系验证等。对于图片识别的准确率，特征与度量的质量都起着至关重要的作用，好的特征可以更好地反映图片中的相关信息，而好的度量能够更好地刻画特征之间的相关性。由于光照、背景、角度等在自然条件下的变化，同一类的物体之间也可能具有较大的差距，这就使得学习出一个精确并鲁棒的度量成为视觉识别中一个重要的步骤。

目前的度量学习主要分为两类：线性及非线性度量的学习。传统的线性度量学习方法主要通过学习出一个马氏距离来衡量样本之间的度量，如LMNN(Large marginnearest neighbor，大间隔最近邻居)、ITML；而非线性的度量学习方法则通过核方法或神经网络方法来对更高阶的关系进行建模。从另一方面，度量学习方法又可以分为非监督与监督两类。非监督的度量学习主要希望学习一个从高维到低维的映射，而使得在低维空间中尽可能地保留高维中样本之间的距离信息；而监督的度量学习则主要基于一个目标，即最大化类间距离以及最小化类内距离。不同的监督度量学习方法，基本上都是对该目标的不同刻画与建模。通过深度神经网络来进行度量学习，是目前的主要研究方法，其大致框架与主要步骤如下：1)设计深度网络模型，将图片或视频提转化为特征与其嵌入；2)从训练集中构建出多个样本对或三元组等；3)通过最小化样本对或三元组等上定义的损失函数来训练深度网络；4)最终的距离度量即为在深度网络嵌入空间下的欧式距离。如基于样本对训练出了一个具有判别力的度量用于自然条件下的人脸识别；如通过计算一批训练样本之间的距离矩阵，设计了一种能够充分利用一批样本中信息的优化目标，在三个图像识别库上取得了不错的结果；如通过限制每个训练集中由三元组组成的三角形中负样本顶点处的角度来设计优化目标，利用了样本之间的三阶几何信息，进一步提高了基于深度网络的度量学习方法的性能

相关技术中的深度度量学习方法在很多视觉应用中都取得了很好的结果，但是其模型通常很大程度上也依赖于训练网络所用的样本，而大部分方法都是基于样本对或三元组来进行模型的训练。对于一个样本个数为n的训练集，假设其每一类中包含的样本数量相近，则其中所有可能的样本对个数为O(n²)，而所有可能的三元组数量为O(n³)，这样庞大的数量就使得使用全部的样本对或三元组来训练网络在实际上变得不可行。另一方面，虽然样本对或三元组的数量很多，但其中包含有效信息的，即对训练有帮助的却很少。这就使得很多度量学习方法开始探索如何从训练集中高效地采样的问题，其中大部分方法基于一种叫难样本挖掘的策略。难样本挖掘发现并选择使得网络损失函数较大的样本来训练，这样既可以加快模型的收敛速度，也可以提高最终学习出的度量的效果。如在一批样本中选择“半难”的负样本，即使得三元组中负样本对的距离较小，但依然大于正样本对之间距离，用这样的三元组来训练基于三元组损失函数的网络；如使用一种线上的重要性采样方法，利用样本之间的相似度来选择训练使用的三元组；如采用了一种自适应的样本挖掘方法来为网络选择高效的训练样本。

然而，虽然使用难样本挖掘的度量学习方法在实验中被证明是有效的，其也存在着两个问题：1)训练中使用的样本只是训练集的一小部分，它们并不能很好地反映训练集的整体分布；2)其没有充分地利用到未被归为难的样本，而其有可能通过转变而生成对训练有帮助的样本，有待解决。

发明内容