[发明专利]一种基于数据分布的大数据查询方法

权利要求书

1.一种基于数据分布的大数据查询方法，其特征在于：包括以下步骤：

步骤1、将待查询的数据按数据量划分为数据段，并计算整体数据段的段势分布函数，划分数据段需符合以下两条特定规律：①各数据段中的数据量满足比例关系；②划分算法具有扩展性，需同时适用于历史数据和新增数据；

步骤1.1、定义数据段；将待查询数据划分为w个数据段s₁，s₂，...，s_w，一个数据段对应一个或多个数据块；

步骤1.2、定义段势；数据段中的数据量和待查询的数据总量之间的比值称为段势，因此，第k个数据段s_k的段势为||S_k||＝|s_k|/(|s₁|+|s₂|+...+|s_w|)，1≤k≤w，其中|s_k|表示数据段s_k中的数据量；编号为k的数据段的段势为或(G(k)-G(k-1))/G(w)，其中，函数g(x)为段势分布函数，x∈[0，w]，G(x)是g(x)的原函数；

步骤1.3、根据加速比计算段势分布函数，以确定各数据段的数量比例关系；

步骤2、获取待查询的数据总量，确定数据段总数量和数据段中每个数据块大小，根据段势分布函数计算每个数据段应装载的数据量；

步骤3、确定查询过程中并行处理的节点数量，做数据装载，根据计算结果将相应的数据量装载到对应的数据段内；

初次装载时，在新数据到来后，根据段势分布函数确定每个数据段应被分派的数据量，并将该部分数据装入数据段中；在后续的装载中，不考虑之前的数据装载情况，按段势分布函数将新来的数据按比例装载到数据段中；

步骤4、判断装载后各数据段中数据量是否满足数据块的数量远大于并行处理的节点数量的约束条件，若满足，则执行步骤5，否则，执行步骤2，做数据的等待装载，直到数据块的数量远大于并行处理的节点数量；

步骤5、用户提交查询请求，给定查询时间的上界T_max；

步骤6、计算第一个数据段所需要的查询时间T₁；

步骤7、采用数据段选择算法确定参与查询的数据段；

步骤8、返回查询结果，并返回实际查全率和置信度；

所述步骤1.3的具体方法为：

分布式系统中，并行查询方法所能获得的加速比为：

其中，z为查询过程中可被并行处理部分的比例，(1-z)是串行处理的比例，r为并行处理节点的数量，T_s为串行处理用时，T_p为并行处理用时，θ为并行处理用时T_p相比于串行处理用时T_s的加速比；

当用户提交的查询请求给定一个时间上限，设计并行处理的查询时间T_p和数据段的编号x之间满足线性正相关，即T_p＝k′×x；

若数据段中数据块分散性良好，则查询第x个数据段时并行处理节点的数量即最大并行程度如下式所示：

其中，N为待查询的数据总量，M为所划分的数据段中数据块大小，为第x个数据段的数据量，为第x个数据段的数据块个数；

查询第x个数据段时，串行数据查询算法的查询时间如下式所示：

其中，m、n均为正数；

对于使用特定计算模型实现的查询算法，查询过程中可被并行处理部分的比例z值已知，因此，查询第x个数据段时，并行查询方法所能获得的加速比如下式所示：

求解该方程得到整体数据段的段势分布函数，如下式所示：

其中，p₁～p₅均为由m、n、N、M和z确定的常数。