[发明专利]一种快速的层次化文档查询方法

权利要求书

1.一种快速的层次化文档查询方法，其特征在于：

所述方法的步骤如下：

1)对文档集中的每个文档建立数据模型，一篇文档的数据模型主要由单词、词向量和单词权重的三部分组成；

2)对文档进行格式化处理获得文档质心向量和文档标签；

所述步骤2)具体为：通过计算词向量对单词权重的加权均值得到文档的文档质心向量，通过对单词权重进行归一化处理并与对应的词向量一起构成文档的文档标签，将文档质心向量与文档标签存储于内存的特定数据结构中；

3)步骤2)中生成的文档质心向量作为高维向量空间中的一个点，为每个文档集采用局部敏感哈希方法在内存中构建哈希索引结构；

4)依据查询文本的文档质心向量，采用基于局部敏感哈希思想的查询方法在哈希索引结构中获取一个候选文档集；

5)依据查询文本的文档标签，采用过滤-细化框架在候选文档集中获取词移动距离度量下的k个最近邻文档，完成查询；

所述步骤5)具体是先新建空白的目标文档集并以堆数据结构形式存储，以堆数据结构形式存储的目标文档集具有按词移动距离从小到大排序的特性，然后对于候选文档集中所有候选文档，以每次一个文档采用以下方式处理，包括过滤阶段和细化阶段：

5.1)若目标文档集中的文档数量小于等于k，k表示预先设定的查询文档数值，将候选文档依次加入目标文档集；

若目标文档集中的文档数量大于k，则进行以下过滤阶段的步骤；

5.2)过滤阶段

计算查询文本与候选文档之间词移动距离的三个下界值，三个下界值分别为文档质心距离和两个松弛词移动距离，用文档质心距离、两个松弛词移动距离来判断候选文档是否剔除；

若三个下界值中的任何一个大于阈值θ，阈值θ表示查询文本与目标文档集中第k篇文档之间的词移动距离，则将候选文档从目标文档集剔除，返回步骤5.1)对下一个候选文档进行处理；

若三个下界值全部不大于阈值θ，则进入以下细化阶段的步骤；

5.3)过滤阶段

计算查询文本与目标文档集中各个文档之间的词移动距离，在目标文档集的堆数据结构中按词移动距离从小到达排序，将词移动距离最大对应的文档剔除，直到目标文档集中的文档数量保持在k个，并更新阈值θ与目标文档集的堆数据结构，再返回步骤5.1)对下一个候选文档进行处理。

2.根据权利要求1所述的一种快速的层次化文档查询方法，其特征在于：

所述步骤2)具体是将一个文档标签以一个结构体数组形式存储，将一个文档质心向量以一个数组形式存储。

3.根据权利要求1所述的一种快速的层次化文档查询方法，其特征在于：

所述的候选文档集中包含文档的数量为mk，k表示最近邻文档的数量，m表示倍数取值。

4.根据权利要求1所述的一种快速的层次化文档查询方法，其特征在于：

所述步骤3)中为每个文档集采用局部敏感哈希方法在内存中构建哈希索引结构是采用局部敏感哈希函数簇方式构建多个哈希表，具体为：

3.1)对于文档集中每个文档，采用以下公式生成多个局部敏感哈希函数：

其中，h(o)表示局部敏感哈希函数，表示取整数下限；a表示一个随机数向量，a的维数和文档质心向量的维数相同，a每一维的随机数是基于高斯分布独立选取；o是高维向量空间中的文档质心向量，b是随机参数，是基于数值范围[0,1]的均匀分布进行选取，W表示局部敏感哈希函数宽度的实数；

3.2)将得到的所有局部敏感哈希函数复合构成一个复合函数，并作为一个哈希表，文档集中每一个文档根据复合函数映射到哈希表的哈希桶中，

3.3)重复步骤3.1)和3.2)构建获得多个哈希表。

5.根据权利要求1所述的一种快速的层次化文档查询方法，其特征在于：

所述步骤4)中查询文本的文档质心向量和所述步骤5)中查询文本的文档标签是以查询文本作为文档进行步骤1)和2)，获得查询文本的文档质心向量和文档标签。

6.根据权利要求1所述的一种快速的层次化文档查询方法，其特征在于：

所述步骤4)中的基于局部敏感哈希思想的查询方法为Multi-probe LSH查询方法。