[发明专利]一种基于回归超图的学习算法

说明书

本发明公开了一种基于回归超图的学习算法，用于解决图像聚类与分类问题，包括以下步骤：采用预设方法利用回归模型构造回归超图；将所述回归超图中的样本从高维样本空间投影到低维超图嵌入空间，并对投影后的所述样本进行聚类；根据所述回归超图中样本之间的关系，推测其他未标识样本的标签值；利用预设的图像数据库对所述回归超图进行分析。有益效果：本发明继承了稀疏表示和协同表示的优点，与传统超图构建的方法相比，它们能够更好地描绘样本之间的真实关系并且对噪声和遮挡具有鲁棒性。

技术领域

本发明涉及学习算法领域，具体来说，涉及一种基于回归超图的学习算法。

背景技术

对于无监督和半监督学习问题，数据往往没有标签信息或者没有足够的标签信息来描述 数据对象之间的关系。在这种情况下，一些无监督的方法会用来定义数据对象之间的关系。 对于传统的超图和图方法，最常用的方法主要是近邻法，比如K近邻和ε球体。然而由于现 实世界中数据的复杂性，数据的简单几何距离关系并不能真正的揭示数据对象之间的真实关 系。此外，现实数据可能存在大量噪声，而近邻法又对噪声十分敏感，所以基于传统近邻法 构造的图和超图往往不能很好地反应出数据对象之间的真实关系，从而限制了图与超图学习 算法的性能。

稀疏表示(Sparse Representation，简称SR)是一种基于1-范数(L1-norm)约束的线 性回归模型。近年来，稀疏表示算法在计算机视觉和机器学习领域十分流行。这是由于它具 有很强的判别能力且对噪声遮挡等不利因素比较鲁棒。基于这些优点，部分研究者利用稀疏 表示来代替近邻方法构造图从而能够更好地描述数据对象之间的关系(详见图1和图2中的 例子)。比如，Cheng等人利用稀疏表示对图像数据构建一个称为1-范数图(L1-Graph)的普 通图，并把该图套入拉普拉斯特征映射、局部线性嵌入(Locally LinearEmbedding，简称 LLE)、边界费舍尔分析(Marginal Fisher Analysis，简称MFA)框架分别用来解决谱聚类， 子空间学习和半监督学习问题。在稀疏子空间聚类(Sparse SubspaceClustering，简称SSC) 算法中，一个稀疏图通过利用稀疏表示求解一个数据自表示问题被构造出用来解决聚类问题。 Qiao和Timofte等人分别在局部保留投影算法的基础上提出了一种基于稀疏图(Sparse Graph) 的子空间学习算法。上述方法都取得比传统图方法更好的性能。更重要的是，它们还吸纳稀 疏表示的优点，这些方法往往对噪声具有一定的鲁棒性。

如图1所示，在使用AR数据库中原始数据的情况下，利用K近邻法和稀疏表示方法对目 标样本的相关样本进行选择的前10名结果。前两行是基于稀疏表示的排序结果，后两行是基 于K近邻法的排序结果。每个图片列表由11张图片组成，第一张图片是目标样本，后10张 样本是选择的相关样本。每个直方图都表示一个样本和目标样本的相关性置信度，正值表示 样本是相关的，负值表示样本不是相关的。从图中可以看出，稀疏表示在排名前10的相关样 本找到了5个正确样本，而K近邻法只找到了3个。实验表明稀疏表示能够更好地定义样本 的相关性。

如图2所示，在使用AR数据库中噪声数据的情况下，利用K近邻法和稀疏表示方法对目 标样本的相关样本进行选择的前10名结果。前两行是基于稀疏表示的排序结果，后两行是基 于K近邻法的排序结果。每个图片列表由11张图片组成，第一张图片是目标样本，后10张 样本是选择的相关样本。每个直方图都表示目标样本和一个样本的相关性置信度，正值表示 样本是相关的，负值表示样本不是相关的。和图1对比可以看出，在稀疏表示寻找到的10个 相关样本中，有5个是正确样本，只是顺序有轻微地变化而K近邻法只找到了2个相关样本， 比没有噪声的情况下还多失去一个相关样本。实验表明稀疏表示比K近邻法对噪声具有更强 的鲁棒性。

受稀疏表示方法以及基于稀疏表示的图学习方法的启发，本发明把稀疏表示引入到超图 学习中来，并把该研究思想进一步推广，提出了一种利用回归模型构建超图的算法框架，用 以解决图像聚类和分类问题。

发明内容