[发明专利]混合生成式和判别式学习模型的图像语义标注方法

权利要求书

1.混合生成式和判别式学习模型的图像语义标注方法，其特征是，包括如下步骤：

(1)对训练图像进行训练的过程，即

(1.1)采用连续概率潜在语义分析方法建模训练图像的视觉特征，得到给定主题z_k下的高斯分布参数μ_k和Σ_k，以及每幅训练图像的主题向量P(z_k/d_i)；

(1.2)利用每幅训练图像的主题向量P(z_k/d_i)和原始语义标注，采用多标记学习方法构造分类器链；

(2)对测试图像进行标注的过程，即

(2.1)利用步骤(1.1)得到的高斯分布参数μ_k和Σ_k，以及测试图像的视觉特征，采用期望最大化(Expectation Maximization，EM)方法计算每幅测试图像的主题向量P(z_k/d_new)；

(2.2)利用步骤(1.2)得到的分类器链，对该主题向量P(z_k/d_new)进行测试图像的语义分类；

(2.3)将置信度最高的X个语义类别作为该测试图像的语义标注；其中参数X为人为预设值。

2.根据权利要求1所述的混合生成式和判别式学习模型的图像语义标注方法，其特征是，步骤(1.2)具体为：按照指定的标记顺序，每次循环学习关联一个语义关键词标记的二值分类器，且每次循环都要加上已学习的二值分类器对应的语义关键词标记信息，由此构造一个二值分类器链；其中该二值分类器链上的每一个二值分类器C_j负责与语义关键词标记l_j相关的学习和预测；上述j＝1，2，……/L/，/L/是语义关键词的个数。

3.根据权利要求2所述的混合生成式和判别式学习模型的图像语义标注方法，其特征是，步骤(2.2)具体为：将步骤(1.2)构造的二值分类器链，从二值分类器C₁开始，不断地向后传播，其中二值分类器C₁确定语义关键词标记l₁的分类结果Pr(l₁|x)；再将这个分类结果Pr(l₁|x)以二值的方式加入到测试图像的主题向量中，以此类推，后续的二值分类器C_j则确定标记l_j的分类结果Pr(l_j|x,l₁,l₂,…,l_j-1)，x为训练图像的主题向量；上述j＝1，2，……/L/，/L/是语义关键词的个数。

4.根据权利要求1～3中任意一项所述的混合生成式和判别式学习模型的图像语义标注方法，其特征是，步骤(1.1)和(2.1)中，还进一步包括对训练图像和测试图像进行视觉特征提取的过程，即

首先，将每幅图像划分为(m×n)个规则方块；

然后，为每个方块提取一个(a+b)维的特征向量，这个(a+b)维的特征向量包含a维的颜色特征和b维的纹理特征；其中颜色特征是在量化颜色和街区距离上计算出的颜色自相关图，而纹理特征是在尺度和方向上计算的伽柏(Gabor)能量系数；

最后，每幅图像的视觉特征即为(m×n)个(a+b)维的视觉特征向量的集合；

其中参数m、n、a和b均为人为预设值。

5.根据权利要求4所述的混合生成式和判别式学习模型的图像语义标注方法，其特征是，参数m和n均设为16，参数a设为24，参数b设为12；即每幅图像均划分为16×16个规则方块，每个方块提取一个36维的特征向量，这个36维的特征向量包含24维的颜色特征和12维的纹理特征。

6.根据权利要求1所述的混合生成式和判别式学习模型的图像语义标注方法，其特征是，步骤(1.1)中，在连续概率潜在语义分析时，所设置的主题个数为180个。

7.根据权利要求1所述的混合生成式和判别式学习模型的图像语义标注方法，其特征是，步骤(2.3)中，参数X设为5，即将置信度最高的5个语义类别作为该测试图像的语义标注。