[发明专利]一种面向主题的图像场景图生成方法

权利要求书

1.一种面向主题的场景图生成方法，其特征在于包括以下步骤：

步骤(1)使用LDA概率主题模型，提取文本的主题概率分布以及主题的词汇分布，构建图像主题数据集；利用图像主题数据集，预训练图像主题预测模型；

步骤(2)结合图像主题，对图像进行目标检测，得到目标特征X和全局特征V，并融合全局特征V、目标特征X、类别特征Z以及主题特征T得到关系特征Y，对检测的目标(obj)预测其属性(attr)以及目标间的关系(rel)，生成图像场景图；

步骤(3)对图像场景图生成模型进行训练，挑选最优训练模型；将图片输入训练好的图像场景图生成模型，输出对应的图像场景图；

步骤(4)使用显著性检测方法U-2-Net对图像进行显著性检测，并利用显著性检测的结果得到图像中各像素点的显著值，通过分析图像的显著值，得到图像的显著性区域；

步骤(5)结合显著性区域以及生成的图像场景图，根据定义规则，保留场景图中反映图像中心思想的目标以及关系，最终生成面向主题的图像场景图。

2.根据权利要求1所述的一种面向主题的场景图生成方法，其特征在于步骤(1)所述具体实现过程如下：

2-1使用MSCOCO数据集中的文本描述，利用LDA概率主题模型，提取所有描述的主题概率分布以及主题的词汇分布；假设文本中蕴含K个主题，文本描述的主题概率分布其中z_i,k表示第i段文本描述关于第k个主题的概率；

2-2得到主题概率分布后，由于一张图像对应多段描述，等同于对应多个主题分布，因此将主题分布表示为同一张图像所有主题分布的平均值Φ，得到图像主题数据集，

其中,表示第i段文本描述的主题概率分布,N表示文本描述的数量；

2-3利用图像主题数据集，训练CNN网络来完成图像主题的预测，得到图像主题预测模型Topic Extractor；测试时图像作为输入，结果取主题概率最大的主题作为最终的图像主题。

3.根据权利要求2所述的一种面向主题的场景图生成方法，其特征在于步骤(2)具体实现如下：

3-1使用基于ResNet101预训练的Faster R-CNN目标检测模型对图像I进行目标检测，得到目标的一系列检测框B＝{b_i|i＝1,…,n}，以及全局特征图V，如公式(1)所示；每个目标输入基于ResNet的网络中得到的目标特征X＝{x_i|i＝i,…,n}，如公式(2)所示；

V,B＝FasterRCNN(I)#(1)

X＝ResNet(B)#(2)

3-2根据目标特征X预测出每个目标的类别特征Z＝{z_i|i＝1,..,n},z_i∈R^d；其中，z_i表示最终预测的类别，d表示预测类别的总数；如公式(3)所示；

其中，W_z是类别特征Z的特征权重；

3-3使用预训练的图像主题预测模型Topic Extractor对图像I进行主题抽取，得到主题特征T，如公式(4)所示；

T＝TopicExtracor(I)#(4)

3-4融合四个分支的特征，包括全局特征V、目标特征X、类别特征Z以及主题特征T，共同预测关系类别Y，如公式(5)所示；采用两种通用的融合方式SUM和GATE，如公式(6)和公式(7)所示；

其中，x`<sub>e</sub>，v`_e，z`<sub>e</sub>，t`_e分别是目标特征，全局特征，类别特征和主题特征的嵌入向量，f是融合函数，W_r,W_x,W_v,W_t分别是x_e,x`<sub>e</sub>，v`_e，z`_e，的特征权重。