[发明专利]分配数据的方法和装置

权利要求书

1.一种分配数据的方法，其特征在于，包括：

根据集群中的节点对输入数据进行抽样，确定抽样结果；

根据所述抽样结果，预测输入数据的分布特征；

根据所述分布特征，对所述输入数据划分区域；

将完成划分后的各个区域的输入数据，与集群中的进程进行匹配。

2.根据权利要求1所述的方法，其特征在于，根据集群中的节点对输入数据进行抽样，确定抽样结果，包括：

根据弹性分布式数据集，计算集群的总记录条数；

根据所述总记录条数和抽样比例，确定弹性分布式数据集区域抽取样本的数量；

根据所述抽取样本的数量对其对应的弹性分布式数据集区域进行抽样，确定所述区域抽取样本的键值及所述键值的记录数；

将所述键值及其记录数组合生成的集合元祖确定为抽样结果。

3.根据权利要求1所述的方法，其特征在于，根据所述抽样结果，预测输入数据的分布特征，包括：

根据所述抽样结果，构建输入数据的分布直方图；

根据所述分布直方图预测输入数据的分布特征。

4.根据权利要求1所述的方法，其特征在于，

所述区域的数量为所述集群中处理器核数的整数倍。

5.根据权利要求2所述的方法，其特征在于，根据所述分布特征，对所述输入数据划分区域，包括：

确定待划分的区域所容纳的抽样结果的数量上限；

根据所述记录数，将抽样结果进行排序；

判断所述集群中剩余容量最大的区域所占的空间，是否大于最大记录数对应的抽样结果所占的空间；

若是，则将所述最大记录数对应的抽样结果分配至所述剩余容量最大的区域，并修改所述区域的剩余容量；

若否，则确定所述剩余容量最大的区域所占的第一存储空间；确定与所述第一存储空间大小相同的最大记录数对应的抽样结果的子键值对；将所述子键值对分配至所述剩余容量最大的区域；将所述最大记录数对应的抽样结果中未被分配的子键值对与其他区域进行匹配。

6.根据权利要求5所述的方法，其特征在于，将完成划分后的各个区域的输入数据，与集群中的进程进行匹配之前，包括：

初始化集群中节点对应进程的权重、计算能力值和监测次数值；

对于一个进程，若CPU利用率和内存利用率均已达到上限，则对计算能力值和监测次数值均做增值处理；若CPU利用率和/或内存利用率没有达到上限，则对监测次数值做增值处理；

当所述监测次数值达到预设调整周期时，判断所述计算能力值与预设第一阈值、预设第二阈值之间的关系；当所述计算能力值大于所述预设第一阈值，则增加所述进程的权重；当所述计算能力值小于所述预设第二阈值，则减小所述进程的权重；

其中，所述预设第一阈值大于所述预设第二阈值。

7.根据权利要求6所述的方法，其特征在于，将完成划分后的各个区域的输入数据，与集群中的进程进行匹配之前，包括：

监控所述节点对应进程的性能参数；

其中，所述性能参数包括：CPU利用率、内存利用率。

8.根据权利要求7所述的方法，其特征在于，监控所述节点对应进程的CPU利用率，包括：

确定所述节点对应进程的相邻时刻的CPU检测值；

根据所述相邻时刻的CPU检测值，利用负反馈机制确定所述节点对应进程的CPU利用率。

9.根据权利要求6所述的方法，其特征在于，将完成划分后的各个区域的输入数据，与集群中的进程进行匹配，包括：

根据所述集群中进程的权重，计算每个进程的性能因子；

根据所述性能因子的大小排列所述集群中的进程；

判断所述性能因子最大的进程可用CPU的核数是否大于完成区域划分后输入数据所需要的核数；若是，则将完成划分区域的输入数据分配给对应的进程，并更新完成分配进程的可用核数。