[发明专利]一种基于视觉语义关系图的图像区域标注方法

说明书

本发明公开了一种基于视觉和语义的图像标注算法，可实现对图像区域的自动标注。提出的基于视觉语义关系图的图像区域标注算法包括两个部分：视觉语义关系图的构建和基于视觉语义关系图的图像标注。视觉语义关系图的构建考虑了图像间的全局相似性、区域相似性、图像区域标签的语义关联以及各层次间的关联。然后在构建好的视觉语义关系图上进行半监督学习，得到未标注图像区域与图像区域标签之间的关联度，对未标注图像区域进行标签预测。

技术领域

本发明属于图像语义理解领域，具体涉及一种基于视觉语义关系图的图像区域标注方法。

背景技术

当今社会图像数据量巨大，图像自动标注技术成为人们对图像数据检索和管理的重要途径，但是由于“语义鸿沟”的存在，严重影响了传统图像区域标注算法的准确性，本发明提出了一种基于视觉语义关系图的图像区域标注方法。

图像全局间具有图像视觉特征相似性，图像区域间也具有图像视觉特征相似性，图像标签之间则具有语义关联性，这些信息有助于图像区域标注与理解，因而本发明提出了一种能够有效描述上述关系的视觉语义关系图，并以此图为基础实现跨层次的随机游走算法对图像区域进行自动语义标注。

发明内容

本发明的目的在于提出一种基于视觉语义关系图的图像区域标注方法，通过分析图像间的全局相似性、区域相似性、图像区域标签的语义关联，以及各层次之间的关联构造视觉语义关系图，提出跨层次的随机游走算法对图像区域进行自动标注。

本发明的技术方案如下：

(1)图像全局相似性子图与图像区域相似性子图的构建：提取图像的全局视觉特征，并计算图像间的特征相似性；提取图像区域的视觉特征，并计算区域间的特征相似性。

(2)图像区域标签语义相关性子图的构建：语义相关性由不同标签之间的语义共现度表示，语义共现度是根据语义标签在图像训练集中的共现概率进行计算的。

(3)各子图间关联的构建：图像全局相似性子图与图像区域相似性子图的关联由图像与图像分割成区域的所属关系确定；图像全局相似性子图与图像区域标签语义相关性子图的关联由已标注图像的全局标签信息确定；图像区域相似性子图与图像区域标签语义相关性子图的关联由已标注图像的区域标签信息确定。

(4)跨层次的随机游走算法：将未标注图像插入视觉语义关系图，在新构建的视觉语义关系图上进行跨层次的随机游走，从而得到未标注图像区域的标签。本部分主要分两步：

(41)将未标注图像分割成区域，并将图像和其所包含的区域插入视觉语义关系图。并根据未标注图像与已标注图像全局特征的相似性以及未标注区域与已标注区域的局部特征相似性来确定对应边的值。

(42)将图像全局、图像区域以及语义标签看作一个三元组复合节点，在新构建的三层视觉语义关系图上进行随机游走，得到未标注图像区域与标签之间的关联值，并选取关联值最高的标签作为图像区域的预测标签。

附图说明

为了更清楚地说明本发明实施步骤，下面将对步骤附图进行详细介绍

图1是基于视觉语义关系图的图像区域标注流程图

图2是视觉语义关系图

图3是图像全局相似性子图

图4是图像区域相似性子图

图5是图像区域标签语义相关性子图

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

图1是本发明提供的基于视觉语义关系图的图像区域标注方法流程示意图，该标注方法包括4个单元。