[发明专利]一种基于混合迁移网络的跨媒体检索方法

说明书

本发明涉及一种基于混合迁移网络的跨媒体检索方法，包括以下步骤：1.建立单媒体数据库和跨媒体数据库，并将跨媒体数据库中的数据分为训练集和测试集。2.利用单媒体数据库和跨媒体数据库的训练集中的数据训练混合迁移网络，用于学习不同媒体数据的统一表征。3.利用训练好的混合迁移网络，得到跨媒体数据库的测试集中数据的统一表征，进而计算跨媒体相似性。4.使用跨媒体测试集中的一种媒体类型作为查询集，另一种媒体类型作为检索库进行检索，根据相似性得到最终检索结果。本发明既实现了从单媒体到跨媒体的知识迁移，也通过强调目标域的语义关联生成更加适合跨媒体检索的统一表征，提高了跨媒体检索的准确率。

技术领域

本发明属于多媒体检索领域，具体涉及一种基于混合迁移网络的跨媒体检索方法。

背景技术

随着人类文明的进步和科学技术的发展，图像、文本、视频、音频等多媒体数据快速增长，已逐渐成为了信息存储与传播的主要形式。在这种情况下，跨媒体检索成为了人工智能的重要应用之一。跨媒体检索是一种新的检索形式，能够根据任意媒体类型的用户查询，返回具有相关语义而媒体类型不同的检索结果。如用户可以通过一张图像作为查询检索相关的文本，或以文本为查询检索符合其描述的图像。与单媒体检索相比，跨媒体检索能够为互联网用户提供更加灵活的检索体验，并为多媒体数据的统一管理提供技术支撑。然而，不同媒体类型的计算机特征表示形式往往不同，构成了“媒体鸿沟”，使得跨媒体检索面临重要挑战。

针对该问题，现有的主流方法是统一表征学习，即为不同媒体类型学习一个统一的语义空间，进而利用常用的距离度量等方式实现跨媒体检索。在该空间中，数据的距离取决于其语义的相似程度，而与媒体类型无关。早期工作主要利用统计分析方法学习不同媒体到统一空间的线性映射矩阵。如典型相关分析(canonical correlation analysis，简称CCA)方法能够学习得到最大化两种媒体数据关联的子空间，进而利用相同维度的统一表征来表示不同媒体的数据。Rasiwasia等人在文献“A New Approach to Cross-ModalMultimedia Retrieval”中提出了高层语义映射方法，先利用CCA学习两种媒体的统一空间，再使用逻辑回归方法在此空间中得到高层语义表示作为最终的统一表征。该方法在CCA的基础上利用了概念类别标注信息，因此学习到的统一表征具有更好的语义辨别能力。Peng等人在文献“Semi-Supervised Cross-Media Feature Learning with UnifiedPatch Graph Regularization”中提出了S²UPG方法，利用同一个超图联合建模多种媒体的整体数据与语义单元，从而能够深入挖掘细粒度的跨媒体关联关系，取得了更高的检索准确率。

近年来，深度学习在多媒体检索领域发挥了重要作用，基于深度网络的跨媒体统一表征学习成为了一个研究热点。如Ngiam在文献“Multimodal Deep Learning”中提出多模态自编码器方法，通过同时考虑单媒体重构误差与跨媒体关联关系，利用一个共享编码层得到统一表征。Srivastava等人在文献“Learning Representations for MultimodalData with Deep Belief Nets”中提出多模态深度信念网络，通过一个关联RBM连接两个分离的深度信念网络来得到统一表征。Peng等人在文献“Cross-media Retrieval byMultimodal Representation Fusion with Deep Networks”中提出了跨媒体多深度网络方法，通过结合多种深度网络结构，同时分析媒体内、媒体间的关联关系并进行层次化融合，取得了更好的效果。