[发明专利]基于深度信息的图像分类方法

说明书

技术领域

本公开一般地涉及模式识别，具体地涉及基于特征包(bag-of-features，BoF)模型的图像分类。

背景技术

目前，传统分类算法缺乏有效地表达图像三维空间信息的能力。这也是计算机视觉系统与人眼视觉系统相比在识别精度上仍存在着巨大差距的重要原因之一。常用的图像空间建模方法往往不能有效地利用空间信息特别是深度信息。例如，金字塔空间匹配算法仅仅是对少量二维空间区域表达的简单串联，虽然有一定的鲁棒性，但是反映空间信息的效率和区分图像特征的能力比较弱。有些图像特征在二维空间往往难以彼此区分。用传统的基于二维图像空间的分类算法是无法有效处理这些图像特征的，从而无法实现准确的图像分类。尤其对于场景数据库，这样的方法往往只能达到很低的分类精度。

因此，鉴于以往的方法很难实现对包括深度在内的三维空间的准确建模，从而无法对图像进行准确分类。

发明内容

为了解决现有技术存在的问题，本公开的目的之一是提供一种基于深度信息的图像分类方法，包括：使用已知深度信息的第一训练图像集训练马尔可夫随机场(Markov Random Field，MRF)；使用所述MRF从未知深度信息的第二训练图像集提取深度信息；从所述第二训练图像集提取局部特征；基于所提取的深度信息和所提取的局部特征来训练支持向量机分类器；以及使用经训练的支持向量机分类器来对待分类图像集中的图像进行分类，其中所述第二训练图像集和所述待分类图像集属于同一场景集。

可选地，根据本公开的方法还包括：基于所提取的深度信息和所提取的局部特征来生成第二训练图像集中的图像的表达；以及使用所述图像的表达来训练支持向量机分类器。

可选地，使用经训练的支持向量机分类器来对待分类图像集中的图像进行分类包括：使用所述MRF从所述待分类图像集提取深度信息；从所述待分类图像集提取局部特征；基于从所述待分类图像集提取的深度信息和局部特征生成所述待分类图像集中的图像的表达；以及将所述待分类图像集中的图像的表达输入所述支持向量机分类器。

可选地，生成图像的表达包括：基于所提取的深度和所提取的局部特征生成深度模型和多个深度平面；基于所提取的局部特征生成视觉词典；基于所提取的局部特征和视觉词典生成特征编码；基于所述多个深度平面、深度模型和特征编码对局部特征进行聚集以得到每个空间区域内的响应；以及将所有空间区域内的响应串联到一起作为该图像的表达。

可选地，生成多个深度平面包括：对深度信息应用聚类算法，得到多个聚类中心P＝[p₁，p₂，…，p_L]，其中L表示聚类中心的数量，p_i是第i个聚类中心的深度值；以及生成深度模型包括：将所提取的局部特征与相应的深度值相结合。

可选地，基于所述多个深度平面、深度模型和特征编码对局部特征进行聚集以得到每个空间区域内的响应包括：在二维平面上将图像等分成多个矩形区域，并结合深度平面，将三维空间划分成多个空间区域；对与每个局部特征最接近的两个深度平面，根据与所述局部特征之间的距离给对两个深度平面分配权重，从而对每个空间区域内的局部特征分别进行聚集。

可选地，生成特征编码包括：基于视觉词典，使用局部线性编码来对所提取的局部特征进行编码

可选地，对每个空间区域内的局部特征分别进行聚集包括使用以下中的任一个进行聚集：最大聚集、最小聚集、求和聚集、和加权求和聚集。

根据本公开的方法，可以描述相同特征在空间中的不同分布。通过以空间区域为基元使得特征空间位置的描述更加鲁棒，可以挖据更多的空间信息，实现准确的图像分类。

附图说明

图1示意性示出了传统的图像分类方法。

图2示意性示出了根据本公开实施例的基于深度信息的图像分类方法的流程图。

图3示意性示出了根据本公开实施例的基于深度信息的图像分类方法的过程。

图4示意性示出了随着视觉词典大小变化，利用深度信息和不利用深度信息在每个类别上的分类精度差异。

具体实施方式

以下结合附图详细说明本公开技术方案中所涉及的各个细节问题。应当指出的是，所描述的实施例仅旨在便于理解，对本公开不起任何限定作用。