[发明专利]一种基于视觉语义关系图的图像区域标注方法

权利要求书

1.一种基于视觉语义关系图的图像区域标注方法，其特征包括三个步骤：

(1)构建图像全局相似性子图，图像区域相似性子图以及图像区域标签语义相似性子图，分析各子图间语义关联；

(2)构建视觉语义关系图，各子图间形成多层次的关联关系，包括：图像全局相似性子图与图像区域相似性子图的关联、图像全局相似性子图与图像区域标签语义相关性子图的关联、图像区域相似性子图与图像区域标签语义相关性子图的关联；

(3)将未标注图像插入视觉语义关系图，在新构建的视觉语义关系图上进行跨层次的随机游走，从而得到未标注图像区域的标签，具体包括：

(31)将未标注图像分割成区域，并将图像和其所包含的区域插入视觉语义关系图，并根据未标注图像与已标注图像全局特征的相似性以及未标注区域与已标注区域的局部特征相似性来确定对应边的值；

(32)将图像全局、图像区域以及语义标签看作一个三元组复合节点，在新构建的三层视觉语义关系图上进行随机游走，得到未标注图像区域与语义标签之间的关联值，并选取关联值最高的语义标签作为图像区域的预测标签。

2.如权利要求1所述方法，其特征在于步骤(2)中，图像全局相似性子图是根据图像全局场景进行相似性比较而建立图像间的关联；图像区域相似性子图是根据图像分割区域的相似性比较而建立区域间的关联；图像区域标签语义相关性子图是根据语义共现度建立标签间的关联，语义共现度是根据语义标签在图像训练集中的共现概率进行计算的。

3.如权利要求1所述方法，其特征在于步骤(2)中，图像全局相似性子图与图像区域相似性子图的关联描述图像与图像分割成区域的所属关系；图像全局相似性子图与图像区域标签语义相关性子图的关联是描述已标注图像的全局标签信息；图像区域相似性子图与图像区域标签语义相关性子图的关联是描述已标注图像的区域标签信息。