[发明专利]参数调整方法、装置和分布式计算平台系统

权利要求书

1.一种参数调整方法，其特征在于，包括：

当任务队列发生变化时，根据任务队列信息、分布式文件系统的数据块信息和调度策略生成调整策略；其中，所述调整策略为调整数据块的副本数量，使得各数据块被访问的任务总数与对应的所述各数据块的当前副本所能支撑的任务总数达到平衡；

根据所述调整策略对分布式文件系统中的各数据块的副本数量进行调整。

2.根据权利要求1所述的方法，其特征在于，还包括：

根据变化后的任务队列获取任务队列信息和所述任务队列信息对应的数据块信息；

根据所述任务队列信息和所述任务队列信息对应的数据块信息获取所述任务队列中所有任务正在访问和将要访问的数据块集合，并统计所述数据块集合中各数据块将被访问的任务数量和所述各数据块正在被访问的任务数量。

3.根据权利要求2所述的方法，其特征在于，所述当任务队列发生变化时，根据任务队列信息、分布式文件系统的数据块信息和调度策略生成调整策略包括：

获取所述数据块集合中各数据块将被访问的任务数量和所述各数据块正在被访问的任务数量，获取所述分布式文件系统的数据块信息，所述分布式文件系统的数据块信息包括所述数据块集合中各数据块当前的副本数量和分布式文件系统的剩余空间量；

根据所述各数据块将被访问的任务数量、所述各数据块正在被访问的任务数量、所述各数据块当前的副本数量、分布式文件系统的剩余空间量和调度策略生成调整策略。

4.根据权利要求3所述的方法，其特征在于，所述根据所述各数据块将被访问的任务数量、所述各数据块正在被访问的任务数量、所述各数据块当前的副本数量、分布式文件系统的剩余空间量和调度策略生成调整策略包括：

根据所述各数据块将被访问的任务数量、所述各数据块正在被访问的任务数量、所述各数据块当前的副本数量、预设的参考性能参数和调度策略计算所述各数据块对应的副本数量的调整参数；

根据所述各数据块对应的副本数量的调整参数、上调参考阈值、下调参考阈值、单位副本占用空间量和所述分布式文件系统的剩余空间量生成所述各数据块对应的调整策略。

5.根据权利要求4所述的方法，其特征在于，所述根据所述各数据块对应的副本数量的调整参数、上调参考阈值、下调参考阈值、单位副本占用空间量和所述分布式文件系统的剩余空间量生成所述各数据块对应的调整策略包括：

当数据块对应的副本数量的调整参数的值为零时，生成所述数据块对应的调整策略为不调整所述数据块的副本数量；

当数据块对应的副本数量的调整参数的值大于零，且所述分布式文件系统的剩余空间量大于所述上调参考阈值时，根据所述数据块对应的副本数量的调整参数、所述单位副本占用空间量和所述分布式文件系统的剩余空间量计算所述数据块的待调整的副本数量，并生成所述数据块对应的调整策略为将所述数据块的副本数量调整为所述数据块的当前副本数量与所述待调整的副本数量之和；

当数据块对应的副本数量的调整参数的值小于零，且所述分布式文件系统的剩余空间量小于所述下调参考阈值时，生成所述数据块对应的调整策略为将所述数据块的副本数量调整为所述数据块的当前副本数量与所述调整参数的绝对值之差。

6.根据权利要求1-5中任一项所述的方法，其特征在于，所述根据所述调整策略对分布式文件系统中的各数据块的副本数量进行调整包括：

将所述调整策略从分布式计算框架发送到分布式文件系统；

由所述分布式文件系统中的元数据服务器节点根据所述调整策略对相应的数据节点中的数据块的副本数量进行调整。

7.一种参数调整装置，其特征在于，包括：

指令生成模块，用于当任务队列发生变化时，根据任务队列信息、分布式文件系统的数据块信息和调度策略生成调整策略；其中，所述调整策略为调整数据块的副本数量，使得各数据块被访问的任务总数与对应的所述各数据块的当前副本所能支撑的任务总数达到平衡；

调整模块，用于根据所述调整策略对分布式文件系统中的各数据块的副本数量进行调整。