[发明专利]用于项关联的联合嵌入

说明书

技术领域

本发明的实施例涉及使存储在存储器中的各种类型的项相关联。

背景技术

诸如图像、音频记录、视频记录和文本的各种类型的项被数字存储并且可通过诸如因特网和万维网（“web”）的计算机网络和服务访问。在一些情况下，这些项可以基于它们的原始源或基于在它们中检测到的特定特征相互关联。例如，图像可以与该图像在其中出现的文章中的特定文本有关，具有相同或相似文本的文章可以相互有关，以及在其中检测到特定对象的图像可以与该对象的名称的文本表示有关。使与感兴趣的特定主题有关的各种类型的项相关联的能力，对于充分利用通过像因特网和web这样的事物可访问的海量信息存储是重要的。

大量传统方法可用来将各种类型的项相互关联。传统方法可以基于语义内容来使项相关联。然而，传统方法没有足够扩展到利用通过web可获得的非常大量的数据。此外，传统方法可能没有充分确定在非常大的项集合中的各种项之间的所有有用语义关系。

图像注释是基于使各种类型的项语义上相关联的应用。用于基于语义关系的图像注释的已知传统方法可能不能扩展到非常大的数据集，以及可能没有充分确定语义关系来通过这样的非常大的数据集获益。许多传统方法基于提取各种图像特征，然后为每一种图像类别，训练独立的简单分类器，诸如线性支持向量机（SVM）。为每一种图像类别训练独立的分类器对于较大数据集会是低效的。独立分类器的性能还会随着注释的数量而快速降级。

替选的非参数传统方法是使用K-最近邻方法来从训练集选择在图像特征空间中与新的图像最近的图像，并且基于最近图像的注释来对该新的图像进行注释。然而，当训练数据集非常大时，以高准确度找到最近邻可能是极低效的。

其他传统方法包括为每一个训练图像将图像特征和相关联的文本标签相连结，然后概率性地使新的图像与训练图像相关。一些传统方法基于图像特征来使预先注释的训练图像聚类，然后基于在新的图像和训练图像集群中的一个或多个的特征之间的相似性来为新的图像确定注释。例如，用于新的图像的注释可以是来自最近训练图像集群的注释。主要基于手动注释的图像来创建新的图像注释可能不能扩展到非常大的数据集。并且，例如，由于当一个关系的概率被改变时，必须重新校准大量其他关系的概率，所以概率性方法对于较大数据集会是极低效的。

发明内容

公开了使用联合嵌入空间来使多个项类型的语义上相关的项相关联的方法和系统。所公开的方法和系统可扩展到较大、web-规模训练数据集。根据实施例，用于使多个项类型的语义上相关的项相关联的方法包括：将多个项类型的训练项嵌入在被配置在耦接到至少一个处理器的存储器中的联合嵌入空间中；为项类型中的每一个学习到联合嵌入空间的一个或多个映射以创建训练的联合嵌入空间和一个或多个学习的映射；以及基于在训练的联合嵌入空间中从第一项到每一个所述相关联的嵌入的训练项的距离来将一个或多个嵌入的训练项与第一项相关联。可以被嵌入联合嵌入空间中的示例性项类型包括图像、注释、音频和视频。在实施例中，该方法可以进一步包括：在通过为多个项类型中的第一项类型应用学习的映射来确定的第一位置处嵌入第一项；以及基于一个或多个相关联的嵌入的训练项来对第一项进行注释。

根据另一个实施例，用于使多个项类型的语义上相关的项相关联的系统包括：处理器；耦接到处理器的存储器；联合嵌入空间配置器；映射器；以及项关联器。联合嵌入空间配置器被配置成将多个项类型的训练项嵌入在存储器中的联合嵌入空间中。映射器被配置成为项类型中的每一个学习到联合嵌入空间的一个或多个映射以创建训练的联合嵌入空间和一个或多个学习的映射。项关联器被配置成基于在训练的联合嵌入空间中从第一项到每一个所述相关联的嵌入的训练项的距离来将一个或多个嵌入的训练项与第一项相关联。

又一个实施例是存储指令的计算机可读介质，其中所述指令当被执行时促使至少一个处理器使用方法来使多个项类型的语义上相关的项相关联。该方法包括：将多个项类型的训练项嵌入在被配置在耦接到至少一个处理器的存储器中的联合嵌入空间中；为项类型中的每一个学习到联合嵌入空间的一个或多个映射以创建训练的联合嵌入空间和一个或多个学习的映射；以及基于在训练的联合嵌入空间中从第一项到每一个所述相关联的嵌入的训练项的距离来将一个或多个嵌入的训练项与第一项相关联。