[发明专利]高速并行数据查找方法

说明书

本发明涉及一种高速并行数据查找方法。首先为充分发挥硬件设备的并行处理能力，构建基于brute force的并行查询器；离线阶段将train集(查询数据集)应用KD树进行划分，由leaf节点构建label集；在线阶段对query集分批先送入上层并行查询器查询label集，结果缓存到leaf_buffer，随后对已满leaf_buffer使用下层并行查询器。利用这种分层查找结构，实现了对大量数据的高效并行查找，可以广泛应用于数据挖掘领域。

技术领域

本发明涉及一种高速并行数据查找方法，属于数据挖掘领域。

背景技术

为了加快对数据的在线查找速度，目前已有方法包括局部敏感哈希、各种树、随机森林方法等。这些方法在离线阶段对查询数据集(train集)建立能够表达数据在数据空间分布特点的模型，在线阶段利用模型提供的已知信息加快查找速度，这样的模型可能是数学表达式、树形结构或网状结构。KD树方法通过建立树形的连接关系大幅减少了在线查询时数据距离的计算次数，从而提高了速度，在基于CPU的近邻查找应用中被广泛使用。

今年来，GPU和FPGA等并行运算设备得到了广泛运用和飞速发展。基于GPU实现的brute force数据查找相对CPU实现有显著效果提升，数据距离计算次数多是该方法速度提升的主要瓶颈。一些人探索将GPU并行能力与KD树的优势结合起来，然而GPU设备的应用强调大量数据处理步骤的高度的一致性，KD树则强调对不同的数据采用不同的处理，这一本质分歧最终导致传统的KD树方法的并行化实现在查询阶段出现分支，导致执行效率低、速度慢。

发明内容

针对上述技术不足，本发明提供一种高速并行数据查找方法。该方法可以充分利用GPU、FPGA等硬件设备的并行运算能力并利用KD树减少数据距离计算次数，从而实现速度的提高。

本发明解决其技术问题所采用的技术方案是：高速并行数据查找方法，包括以下步骤：

离线阶段：分割train集,并创建label集；

在线阶段：通过多层并行查询器查label集、train集的子集，实现数据查找。

所述离线阶段包括将train集划分成多个节点，由每个节点内的数据子集train_leaf生成label集。

所述将train集划分成多个节点具体为基于KD树将train集划分成多个leaf节点。

所述并行查询器为基于brute force方法的并行查询器。

所述并行查询器的结果包括RNN和/或KNN的一个或多个。

所述在线阶段：先用上层的并行查询器查label集，结果缓存到节点缓存leaf_buffer，对已满的leaf_buffer采用下层的并行查询器查train集的子集。

所述在线阶段包括以下步骤：

步骤(1)：首先将query集分批，每批处理q_num个query；

步骤(2)：为每个label分配一个节点缓存leaf_buffer，大小为b_num＝q_num+b_thres，b_thres为设定值，用于存放query的索引；

步骤(3)：将该批query与label集应用上层的并行查询器查找结果，并将结果推送到leaf_buffer内；

步骤(4)：查询所有leaf_buffer；如果leaf_buffer内个数超过_thres，则执行步骤(5)，否则执行步骤(3)；