[发明专利]高速并行数据查找方法

权利要求书

1.高速并行数据查找方法，其特征在于包括以下步骤：

离线阶段：分割train集,并创建label集；

在线阶段：通过多层并行查询器查label集、train集的子集，实现数据查找；所述在线阶段包括以下步骤：

步骤(1)：首先将query集分批，每批处理q_num个query；

步骤(2)：为每个label分配一个节点缓存leaf_buffer，大小为b_num＝q_num+b_thres，b_thres为设定值，用于存放query的索引；

步骤(3)：将每批query与label集应用上层的并行查询器查找结果，并将结果推送到leaf_buffer内；

步骤(4)：查询所有leaf_buffer；如果leaf_buffer内个数超过_thres，则执行步骤(5)，否则执行步骤(3)；

步骤(5)：对于每个leaf_buffer内个数超过b_thres的leaf_buffer，根据其内索引获取到query的子集query_buffer，将其与train的子集train_leaf应用下层的并行查询器查找KNN，将当前获得的局部的结果更新到最终所需全局的结果内。

2.根据权利要求1所述的高速并行数据查找方法，其特征在于所述离线阶段包括将train集划分成多个节点，由每个节点内的数据子集train_leaf生成label集。

3.根据权利要求2所述的高速并行数据查找方法，其特征在于所述将train集划分成多个节点具体为基于KD树将train集划分成多个leaf节点。

4.根据权利要求1所述的高速并行数据查找方法，其特征在于所述并行查询器为基于brute force方法的并行查询器。

5.根据权利要求1或4所述的高速并行数据查找方法，其特征在于所述并行查询器的结果包括RNN和/或KNN的一个或多个。

6.根据权利要求1所述的高速并行数据查找方法，其特征在于所述在线阶段：先用上层的并行查询器查label集，结果缓存到节点缓存leaf_buffer，对已满的leaf_buffer采用下层的并行查询器查train集的子集。