[发明专利]一种基于数据分布的大数据查询方法

摘要

本发明提供一种基于数据分布的大数据查询方法，涉及大数据查询技术领域。一种基于数据分布的大数据查询方法，首先对待查询的数据划分数据段，并根据加速比计算整体数据段的段势分布函数，以确定各数据段的数量比例关系；然后根据约束条件将待查询数据装载到各数据段内；最后根据用户查询请求的时限要求，采用数据段选择算法确定参与查询的数据段，并返回查询结果及实际查全率和置信度。本发明提供的基于数据分布的大数据查询方法，保证了分布式环境下各类查询的随机性、性能和近似性评价，并兼容精确查询，且新增数据不会影响查询效果，具备良好的扩展性和可维护性。

主权项

1.一种基于数据分布的大数据查询方法，其特征在于：包括以下步骤：步骤1、将待查询的数据按数据量划分为数据段，并计算整体数据段的段势分布函数，划分数据段需符合以下两条特定规律：①各数据段中的数据量满足比例关系；②划分算法具有扩展性，需同时适用于历史数据和新增数据；步骤1.1、定义数据段；将待查询数据划分为w个数据段s1,s2,…,sw，一个数据段对应一个或多个数据块；步骤1.2、定义段势；数据段中的数据量和待查询的数据总量之间的比值称为段势，因此，第k个数据段s_k的段势为||s_k||＝|s_k|/(|s₁|+|s₂|+…+|s_w|)，1≤k≤w，其中|s_k|表示数据段s_k中的数据量；编号为k的数据段的段势为或(G(k)‑G(k‑1))/G(w)，其中，函数g(x)为段势分布函数，x∈[0,w]，G(x)是g(x)的原函数；步骤1.3、根据加速比计算段势分布函数，以确定各数据段的数量比例关系；步骤2、获取待查询的数据总量，确定数据段总数量和数据段中每个数据块大小，根据段势分布函数计算每个数据段应装载的数据量；步骤3、确定查询过程中并行处理的节点数量，做数据装载，根据计算结果将相应的数据量装载到对应的数据段内；初次装载时，在新数据到来后，根据段势分布函数确定每个数据段应被分派的数据量，并将该部分数据装入数据段中；在后续的装载中，不考虑之前的数据装载情况，按段势分布函数将新来的数据按比例装载到数据段中；步骤4、判断装载后各数据段中数据量是否满足数据块的数量远大于并行处理的节点数量的约束条件，若满足，则执行步骤5，否则，执行步骤2，做数据的等待装载，直到数据块的数量远大于并行处理的节点数量；步骤5、用户提交查询请求，给定查询时间的上界Tmax；步骤6、计算第一个数据段所需要的查询时间T1；步骤7、采用数据段选择算法确定参与查询的数据段；步骤8、返回查询结果，并返回实际查全率和置信度。