[发明专利]应用于跨模态数据检索领域的样本选择方法及装置

说明书

一种样本选择方法及装置，属于度量学习技术领域。所述方法包括：从未标注样本集中选取n组样本对，每一组样本对包括两个样本，每一个样本包括p种模态的数据；对于每一组样本对，计算样本对包括的一个样本的每一种模态的数据和另一个样本的每一种模态的数据之间的部分相似度，得到p×p个部分相似度；根据p×p个部分相似度计算样本对包括的两个样本之间的整体相似度；获取p×p个部分相似度与整体相似度之间的差异程度；从n组样本对中选择符合预设条件的样本对作为训练样本。本发明通过选择高质量的训练样本训练度量模型，能够用更少的训练样本训练出更高精度的度量模型。

技术领域

本发明涉及度量学习技术领域，特别涉及一种应用于跨模态数据检索领域的样本选择方法及装置。

背景技术

度量学习(metric learning)是指从已标注相关性的样本对中自动学习出合理描述两个对象之间的语义相似度的距离度量，是图像检索领域中常用的一种机器学习技术。

目前，已经有一些较为成熟的有关度量学习的技术，但这些技术大多是针对单模态数据(如图像和图像)之间的相关性度量，并不适用于跨模态数据(如图像和文本)之间的相关性度量。针对跨模态数据的度量学习，在现有技术中，预先构建训练样本集，该训练样本集中包括大量的训练样本，每一个训练样本包括一组已标注相关性的样本对，而后采用该训练样本集训练度量模型，该度量模型用于度量一组跨模态数据之间的相关性。训练样本集的构建方式通常采用随机抽样方式从未标注样本集中选取样本对作为训练样本，并将选取的训练样本交由标注人员进行相关性标注。

在现有技术中，采用随机抽样方式选取的训练样本质量偏低，导致最终训练得到的度量模型的准确性较低。并且，由于需要大量已标注相关性的训练样本来训练度量模型，导致模型的训练效率较低，且对训练样本的标注需要耗费较多的时间和成本。

发明内容

本发明实施例提供了一种应用于跨模态数据检索领域的样本选择方法及装置，用以解决现有技术在针对跨模态数据的度量学习中，所存在的模型的准确性较低，模型的训练效率较低，以及对训练样本的标注需要耗费较多的时间和成本的问题。所述技术方案如下：

第一方面，提供了一种应用于跨模态数据检索领域的样本选择方法，所述方法包括：

从未标注样本集中选取n组样本对，每一组样本对包括两个样本，每一个样本包括p种模态的数据，所述n为正整数，所述p为大于1的整数；

对于所述n组样本对中的每一组样本对，计算所述样本对包括的一个样本的每一种模态的数据和另一个样本的每一种模态的数据之间的部分相似度，得到p×p个部分相似度；

根据所述p×p个部分相似度计算所述样本对包括的两个样本之间的整体相似度；

获取所述p×p个部分相似度与所述整体相似度之间的差异程度；

从所述n组样本对中符合预设条件的样本对中选择训练样本；其中，所述预设条件满足所述差异程度大于第一阈值且所述整体相似度小于第二阈值。

第二方面，提供了一种应用于跨模态数据检索领域的样本选择装置，所述装置包括：

选取模块，用于从未标注样本集中选取n组样本对，每一组样本对包括两个样本，每一个样本包括p种模态的数据，所述n为正整数，所述p为大于1的整数；

第一计算模块，用于对于所述n组样本对中的每一组样本对，计算所述样本对包括的一个样本的每一种模态的数据和另一个样本的每一种模态的数据之间的部分相似度，得到p×p个部分相似度；

第二计算模块，用于根据所述p×p个部分相似度计算所述样本对包括的两个样本之间的整体相似度；

第三计算模块，用于获取所述p×p个部分相似度与所述整体相似度之间的差异程度；