[发明专利]网络文本与图像中关联语义基元的弱监督学习方法

摘要

一种网络文本与图像中关联语义基元的弱监督学习方法，首先，针对异构模态数据内容进行特征提取与表达，从而分别获得文本、图像两者单独模态下语义基元的特征向量空间；其次，以图像中的每个区域作为结点，以结点之间的多种关系作为边，构建图像‑文本语义信息传播模型；再次，构建图上的学习算法，将图像级别对应的文本语义信息有效地传播到这些图像区域上去，形成大量表征客观世界的语义基本单元集合；本发明针对目前网络中数量居多的文本、图像两种模态的数据进行相关性建模和学习，通过基于图的文本图像关联语义基元学习算法，获得大量在高层语义相匹配的文本‑图像语义基元对，从高层语义上将二者实现关联，在跨媒体检索等领域价值巨大。

主权项

网络文本与图像中关联语义基元的弱监督学习方法，其特征在于，包括如下步骤：步骤1，针对异构模态数据内容进行特征提取与表达，从而分别获得文本、图像两者单独模态下语义基元的特征向量空间；步骤2，以图像中的每个区域作为结点，以结点之间的多种关系作为边，构建图像‑文本语义信息传播模型；步骤3，构建图上的学习算法，将图像级别对应的文本语义信息有效地传播到这些图像区域上去，形成大量表征客观世界的语义基本单元集合。