[发明专利]参数调整方法、装置和分布式计算平台系统

说明书

技术领域

本发明实施例涉及通信技术和计算机领域，尤其涉及一种参数调整方法、装置和分布式计算平台系统。

背景技术

数据密集型分布式计算平台通常由分布式计算框架和分布式文件系统组成，其中，分布式计算框架中包含一个任务队列，如图1所示为现有技术的分布式计算框架中的任务调度示意图，用户提交的任务先进入该队列中，系统根据计算资源的繁忙情况对任务进行调度，并下发给计算节点进行运算；分布式文件系统为一种基于廉价计算机节点进行本地存储构建的分布式存储系统，其通过将不同服务器上的共享文件夹组织在一起构建成一个目录树，则用户只需访问一个共享的根目录便可访问分布在网络上的文件或文件夹。图2所示为现有技术的分布式文件系统中的数据块操作示意图，分布式系统通常由元数据服务器节点和多个数据块节点组成；其中，元数据服务器节点用于保存各个文件的数据分块情况、各个数据块所在的数据块节点的名称以及每个数据块节点上所包含的数据块信息等；数据块节点用于保存实际的数据块。当客户端软件需要对分布式文件系统进行数据存取访问时，先通过元数据服务器节点获取或建立文件的数据块的位置，再直接与相应数据块所在的数据块节点进行通信。

为了提高系统可靠性和数据可用性，分布式文件系统通常采用固定数量的多副本方式来保存数据块，如对于同一个数据块，可以在不同数据块节点保存对应的三个副本。而这种方式只考虑了数据的可用性而未考虑不同数据访问的性能参数的不同要求，不同数据的性能参数随时间发生变化，而当出现某些数据的访问频率升高或响应时间下降等情况时，固定数量的数据块副本不能满足高性能要求，导致数据块的响应时间增加。如当集群中节点数量较多，且并发运行的任务数量也较大时，容易出现数据热点问题，如图3所示为现有技术的分布式文件系统中数据热点的示意图，即很多任务同时访问同一份数据，导致访问速度明显下降。

在现有技术中，为了解决上述由于固定数量的数据块副本而导致容易产生数据热点的问题，一种方法为管理员根据经验手动调整某些文件的数据块副本数量；另一种方法为通过统计数据块副本的性能参数获得实际性能参数，根据实际性能参数来在数据块节点中增加或删除数据块副本。

发明人在实现本发明的过程中，发现现有技术至少存在以下缺点：

现有技术中的第一种调整方法对管理员要求较高，且调整的准确度和及时性不高；第二种调整方法则属于事后调整，具有一定的延后期，不能及时解决数据热点问题。

发明内容

本发明实施例在于提供一种参数调整方法、装置和分布式计算平台系统，实现对数据块副本数量的预先自动调整，及时准确地解决多个任务同时访问同一数据块导致的数据热点问题。

为了实现上述目的，本发明实施例提供了一种参数调整方法，包括：

当任务队列发生变化时，根据任务队列信息、分布式文件系统的数据块信息和调整策略生成调整策略；其中，所述调整策略为调整数据块的副本数量，使得各数据块被访问的任务总数与对应的所述各数据块的当前副本所能支撑的任务总数达到平衡；

根据所述调整策略对分布式文件系统中的各数据块的副本数量进行调整。

本发明实施例提供了一种参数调整装置，包括：

指令生成模块，用于当任务队列发生变化时，根据任务队列信息、分布式文件系统的数据块信息和调整策略生成调整策略；其中，所述调整策略为调整数据块的副本数量，使得各数据块被访问的任务总数与对应的所述各数据块的当前副本所能支撑的任务总数达到平衡；

调整模块，用于根据所述调整策略对分布式文件系统中的各数据块的副本数量进行调整。

本发明实施例提供了一种分布式计算平台系统，包括分布式计算框架和分布式文件系统，所述分布式计算框架包括计算管理节点和多个计算节点，所述分布式文件系统包括元数据服务器节点和多个数据节点，所述计算管理节点包括用户任务管理模块和任务调度模块；所述分布式计算框架用于接收用户提交的任务，并对任务队列中的任务进行管理和调度，所述分布式文件系统用于保存数据块信息，所述计算管理节点用于对任务队列中的各个任务进行管理和调度，所述计算节点用于对数据块进行计算处理，所述元数据服务器节点用于保存各文件的数据分块情况、各数据块所在的数据节点信息以及各数据节点包含的数据块信息，所述数据节点用于保存实际的数据块；所述分布式计算平台系统还包括上述参数调整装置。