[发明专利]混合生成式和判别式学习模型的图像语义标注方法

说明书

技术领域

本发明涉及图像检索领域，具体涉及一种混合生成式和判别式学习模型的图像语义标注方法。

背景技术

根据所使用机器学习方法的特点，现有的图像自动标注方法大致可分为基于生成式模型(generative model)的标注方法和基于判别式模型(discriminative model)的标注方法。

基于生成式模型的标注方法的特点是：先学习图像特征和关键词的联合概率，然后通过贝叶斯公式计算给定图像特征时各个关键词的后验概率，并依据后验概率进行图像标注。这类方法具有可扩展的训练过程，对训练图像集人工标注的质量要求较低。

基于判别式模型的标注方法的特点是：假设图形特征到关键词之间的映射是某种参数化的函数，直接在训练数据上学习此函数的参数，并获得各个语义概念的分类器。这类方法将各个语义概念视为独立的类别，一般来说能取得较高的标注精度，但是不便于利用领域相关的先验知识。

基于生成式模型的方法和基于判别式模型的方法的概率图模型分别如图1中(a)和(b)所示，二者相比较主要有以下几点不同：(1)基于判别式模型的方法将图像看作训练数据，各个语义概念看作类别，目的在于将图像分类到各个语义类别中，而基于生成式模型的方法将图像和文本都视为训练数据，其目的是学习图像与文本之间的关联；(2)基于判别式模型的方法为每个语义概念训练一个分类器，基于生成式模型的方法只学习一个关联模型并将该模型应用于所有的语义概念；(3)独立性假设不同。基于判别式模型的方法假设各个语义类别之间是相互独立的，而基于生成式模型的方法假设在给定隐藏变量的条件下，视觉元素和文本元素是条件独立的。

综上所述，生成式模型和判别式模型各有其优势和缺陷。

发明内容

本发明针对图像检索中存在的“语义鸿沟”问题及生成式模型和判别式模型的缺陷，提供一种混合生成式和判别式学习模型的图像语义标注方法，其在连续概率潜在语义分析和多标记学习的基础上提出混合生成式和判别式学习的图像自动标注模型HGDM(hybrid generative/discriminative model)，并进一步实现了基于关键词的图像语义检索。

为解决上述问题，本发明是通过以下技术方案实现的：

混合生成式和判别式学习模型的图像语义标注方法，包括如下步骤：

(1)对训练图像进行训练的过程，即

(1.1)采用连续概率潜在语义分析(PLSA)方法建模训练图像的视觉特征，得到给定主题z_k下的高斯分布参数μ_k和Σ_k，以及每幅训练图像的主题向量P(z_k/d_i)；

(1.2)利用每幅训练图像的主题向量P(z_k/d_i)和原始语义标注，采用多标记学习方法构造分类器链；

(2)对测试图像进行标注的过程，即

(2.1)利用步骤(1.1)得到的高斯分布参数μ_k和Σ_k，以及测试图像的视觉特征，采用期望最大化(Expectation Maximization，EM)方法计算每幅测试图像的主题向量P(z_k/d_new)；

(2.2)利用步骤(1.2)得到的分类器链，对该主题向量P(z_k/d_new)进行测试图像的语义分类；

(2.3)将置信度最高的X个语义类别作为该测试图像的语义标注；其中参数X为人为预设值。

步骤(1.2)即分类器链的构造过程，即分类器链的训练过程具体为：按照指定的标记顺序，每次循环学习关联一个语义关键词标记的二值分类器，且每次循环都要加上已学习的二值分类器对应的语义关键词标记信息，由此构造一个二值分类器链；其中该二值分类器链上的每一个二值分类器C_j负责与语义关键词标记l_j相关的学习和预测。上述j＝1，2，……/L/，/L/是语义关键词的个数。