[发明专利]一种高维数据的近似最近邻检索方法及检索系统

说明书

技术领域

本发明涉及数据检索技术领域，具体涉及一种高维数据的近似最近邻 检索方法及检索系统。

背景技术

近年来，最近邻检索技术在计算机视觉、文本和图像检索、数据聚类 等需要处理大规模高维数据的领域中扮演着十分重要的角色。最近邻检索 讨论的对象是大规模高维数据点，要求能快速地在这些数据点中找到距离 某个检索点最近的若干数据点。

最近邻检索的最基本方法是线性扫描所有数据点与检索点的距离，并 最终返回其中距离检索点最近的若干数据点。面对大规模高维数据，每一 次计算两个数据点之间的原始度量都是非常耗费计算能力的过程，因而线 性扫描的方法是十分低效、不切实际的。为了提高最近邻检索的效率，学 者们提出了一些近似最近邻检索方法，这些检索方法的基本思路是通过牺 牲一定精度，来提高检索效率。

常见的近似最近邻检索方法主要包括如下两类：

1)基于树结构的方法。首先对所有数据点进行分层次的划分，然后在 检索时，从最高层的划分节点开始到最底层的划分节点进行比较和剪枝。 经典的树结构有：KD树、R树和层次化Kmeans树等。

2)基于哈希的方法。首先用数据点来学习哈希函数，然后应用这些哈 希函数将所有数据点编码成哈希编码来替代表示原来的高维数据内容，最 后在最近邻检索时比较检索点和数据点在编码后的哈希编码之间的海明 距离，选择其中海明距离最近的若干个点作为最终的最近邻点。为了进一 步加速检索，可以使用哈希表来存储所有数据点；另一方面，为了提高检 索精度，使用海明距离来选择最近邻点的候选点，然后再比较候选点和检 索点之间的实际距离，并返回实际距离最近的若干候选点作为最近邻结果。

由于实际应用中数据的复杂性，在处理许多高维数据时，现有方法难 以获得良好的效果。基于树结构的方法对高维数据进行最近邻检索时，面 临着维度灾难带来的一些问题。而基于哈希的方法，若哈希编码较短，存 在着精度低的问题；若哈希编码较长，则无法使用哈希表来剪枝检索。

发明内容

本发明提供了一种高维数据的近似最近邻检索方法，能够提高对高维 数据进行最近邻检索时的效率。

一种高维数据的近似最近邻检索方法，包括：

步骤1，采用初始化检索方法对高维数据库点集，建立初始化索引， 并建立所述高维数据库点集的最近邻表；

步骤2，根据初始化索引，获得待检索数据点在所述高维数据库点集 中的若干个最邻近点，若干个最邻近点构成初始候选点集；

步骤3，构造临时点集，针对初始候选点集中的每个数据点，在最近 邻表中查询该数据点的若干个近邻点，并将查到的各近邻点以及初始候选 点添加至临时点集中；

步骤4，计算临时点集中所有数据点与待检索数据点的距离，将距离 最小的若干个数据点作为新的候选点集；

步骤5，将新的候选点集作为初始候选点集；

步骤6，重复步骤3～步骤5，直至候选点集中的数据点不再更新或者迭 代次数达到预定值，输出候选点集中距离待检索数据点最近的若干数据点 作为近似最近邻数据点进行。

步骤1中的初始化检索方法可以采用现有技术中的任意一种，作为优 选，所述初始化检索方法为层次化Kmeans树算法、随机化KD树算法、局 部敏感哈希算法、哈希算法中的一种。

本发明中输入为待检索点和高维数据库点集，输出为待检索数据点在 高维数据库点集中最邻近点。

本发明还提供了一种高维数据的近似最近邻检索系统，包括：

初始化模块，用于采用初始化检索方法对高维数据库点集，建立初始 化索引，并建立所述高维数据库点集的最近邻表；

初始化检索模块，用于根据初始化索引，获得待检索数据点在所述高 维数据库点集中的若干个最邻近点，若干个最邻近点构成初始候选点集；

临时点集更新模块，用于构造临时点集，针对初始候选点集中的每个 数据点，在最近邻表中查询该数据点的若干个近邻点，并将查到的各近邻 点添加至临时点集中；

候选点集更新模块，用于计算临时点集中所有数据点与待检索数据点 的距离，将距离最小的若干个数据点作为新的候选点集；