[发明专利]一种基于语义二叉树的图像标注方法

说明书

技术领域

本发明涉及的是一种图像的自动语义标注方法。

背景技术

图像的标注字作为一种非常宝贵的图像描述资源，较好地反映了图像的高级语义信息。如何充分利用训练图像的标注字信息，是提高图像标注精度的重要手段。本发明的背景是在综合利用图像语义与视觉特征的相关性基础上，提取出训练图像的语义场景，并对不同场景的训练图像建立视觉模型，最后按照视觉特征对待标注图像进行语义归类。

发明内容

本发明的目的在于提供一种能提高对经过场景归类后待标注图像的标注精度的基于语义二叉树的图像标注方法。

本发明的目的是这样实现的：

步骤1，对于特定场景的图像集，采用图像分割算法对用于学习的标注图像进行分割，获得图像区域的视觉描述；

步骤2，构造用于学习的所有图像的视觉最近邻图；

步骤3，根据步骤2中的最近邻图建立所述场景的语义二叉树；

步骤4，对所述场景下的待标注图像，从语义二叉树的根节点到叶子节点找到相应位置，并将该节点处到根节点的所有标注字传递给所述图像。

所述构造用于学习的所有图像的视觉最近邻图的方法为：图像间的视觉距离采用多区域集成匹配的相似性测度推土机距离，图的顶点对应每一幅图像，连接顶点的边对应图像间的视觉距离。

所述建立语义二叉树的方法为：二叉树的根节点处汇集了场景中的所有标注图像，代表所述场景的标注字对应根节点的语义表示，对步骤2中的最近邻图采用规格化切分的二分算法，将图像分成两个集合，分别代表根节点的左子树和右子树，统计两个集合中除了根节点处的标注字外的一个显著标注字，并按该标注字重新确定每幅图像的归属；寻找显著标注字的方法是统计集合中各标注字的出现次数，将出现次数最高的标注字作为显著标注字；如果出现次数最多的标注字不止一个，将词频较低的一个标注字作为显著标注字；

对根节点的左子树和右子树重复上述操作，直到只有一副图像或者集合中无显著出现的标注字，底端的叶子节点对应了出现频度较低的标注字的图像。

本发明利用标注字和视觉信息对特定场景的标注图像建立语义二叉树，提出了一个对特定场景的标注图像建立语义树的具体方法。树的顶点对应该场景下最常见的标注字，随着语义树的生长，每个叶子节点对应的语义被分支裁剪，子节点的语义逐渐细化，代表的标注字逐步具体，趋于并通过建立的语义二叉树，对该场景的待标注图像，从该场景语义树的根部到叶子节点，得到相应的标注信息。

本发明旨在对特定场景下的训练用的标注图像集建立语义二叉树，来提高利用图像视觉特征进行场景分类后的图像的自动语义标注的精度。

本发明将结点带有关键字的二叉树用于图像标注，具有较高的实用价值。将对许多CBIR应用有重要帮助，例如google的图像索索引擎。

附图说明

附图是本发明的流程图。

具体实施方式

下面结合附图举例对本发明做更详细的描述：

步骤1，对于特定场景的图像集，采用图像分割算法对用于学习的标注图像进行分割，获得图像区域的视觉描述。

步骤2，构造用于学习的所有图像的视觉最近邻图。图像间的视觉距离采用多区域集成匹配的相似性测度推土机距离(Earth Mover’s Distance，EMD)。图的顶点对应每一幅图像，连接顶点的边对应图像间的视觉距离。

步骤3，根据步骤2中的最近邻图建立该场景的语义二叉树。方法如下。

二叉树的根节点处汇集了该场景中的所有标注图像，代表该场景的标注字对应根节点的语义表示。对步骤2中的最近邻图采用N-Cut(Normalized Cut，规格化切分)的二分算法，将图像分成两个集合，分别代表根节点的左子树和右子树。统计两个集合中除了根节点处的标注字外的一个显著标注字，并按该标注字重新确定每幅图像的归属。寻找显著标注字的方法是统计集合中各标注字的出现次数，将出现次数最高的标注字作为显著标注字。如果出现次数最多的标注字不止一个，将词频较低的一个标注字作为显著标注字。

对根节点的左子树和右子树重复上述操作，直到只有一副图像或者集合中无显著出现的标注字。底端的叶子节点对应了出现频度较低的标注字的图像。

步骤4，对该场景下的待标注图像，从语义二叉树的根节点到叶子节点找到相应位置，并将该节点处到根节点的所有标注字传递给该图像。