[发明专利]一种面向主题的图像场景图生成方法

说明书

本发明公开了一种面向主题的图像场景图生成方法。本发明首先使用LDA概率主题模型，提取文本的主题概率分布以及主题的词汇分布，构建图像主题数据集。然后利用图像主题数据集，预训练得到图像主题预测模型。其次，模型对图像进行目标检测，并融合全局特征、目标特征、类别特征以及主题特征得到关系特征，对检测的目标预测其属性以及目标间的关系，训练得到场景图生成模型。使用U‑2‑Net对图像进行显著性检测，并利用检测结果得到图像中各像素点的显著值，通过显著值得到图像的显著性区域。结合显著性区域以及生成的图像场景图，根据定义规则最终生成面向主题的图像场景图。本发明解决了现有场景图中存在主题无关目标的问题。

技术领域

本文发明涉及场景图生成方法，具体来讲是一种面向主题的图像场景图生成方法，属于场景图生成技术领域。

背景技术

随着场景图生成相关任务被明确定义以及用于研究视觉关系的大规模图像数据集的提出，研究者对场景图生成领域的关注也日益增长。场景图包含了图像或者文本的结构化语义信息，其中包括目标、属性以及成对的关系，这些信息对于视觉任务而言可以提供丰富的先验知识。具体的应用包括了图像描述生成，视觉问答，图像检索和图像生成。

大部分的场景图生成模型，并不能根据图像的主题针对性地生成场景图，而是对图像中的所有目标构建关系，生成图像场景图。因此，场景图中可能包含主题相关性较弱的目标，也可能缺少部分主题相关性较强的目标。当下游任务例如图像描述生成接收场景图作为输入时，生成的描述可能不能准确表达图像的中心思想。当人第一眼看到图像时，会根据先验知识迅速地提炼出图像的主题，针对主题聚焦于图像的主要目标构建场景图。受此启发，本文提出了面向主题的场景图生成方法，利用图像主题与显著性检测模拟该过程，将模型聚焦于图像的主要目标，生成面向主题的场景图。

发明内容

本发明的目的是针对现有技术的不足，提供一种面向主题的场景图生成方法，以解决传统的场景图生成方法无法针对图像的主题，生成符合图像主题的场景图的问题。

为了解决这些问题，本发明在传统的场景图生成方法的基础上，结合图像主题以及显著性检测，提出了一种面向主题的场景图生成方法。具体来说，首先使用LDA概率主题模型，提取文本的主题概率分布以及主题的词汇分布，构建图像主题数据集。然后利用图像主题数据集，预训练图像主题预测模型。其次，模型结合图像主题，对图像进行目标检测，并融合全局特征、目标特征、类别特征以及主题特征得到关系特征，对检测的目标(obj)预测其属性(attr)以及目标间的关系(rel)，训练得到场景图生成模型。然后，使用显著性检测方法U-2-Net对图像进行显著性检测，并利用显著性检测的结果得到图像中各像素点的显著值，通过分析图像的显著值，得到图像的显著性区域。结合显著性区域以及生成的图像场景图，根据自定义规则，保留场景图中反映图像中心思想的目标以及关系，最终生成面向主题的图像场景图。

本发明有益效果如下：

本发明针对图像的主题保留目标，生成图像场景图，解决了现有场景图中存在主题无关目标的问题。

本发明将主题向量融入关系特征中，为关系预测高层语义特征，使场景图的目标与关系预测更为准确。

本发明提出的方法是一种测试方法，可以广泛应用于基于场景图的下游任务。

附图说明

图1是本发明的整体实施方案流程图

图2是本发明的图像主题预测模型示意图

图3是本发明的融合图像主题的场景图生成示意图

图4是本发明的显著性区域生成示意图

图5是本发明的面向主题的场景图生成示意图

图6是本发明的整体结构示意图

具体实施方式

下面结合附图对本发明作进一步描述。