[发明专利]分布式集群负载的控制方法及装置

说明书

本申请提供一种分布式集群负载的控制方法及装置，应用于分布式集群系统，分布式集群系统包括系统资源管理器及与系统资源管理器连接的多个计算机节点，分布式集群负载的控制方法包括：在启动分布式集群系统时获取分布式集群系统中目标节点的内核默认参数，其中，目标节点为多个计算机节点中的一个节点；调节目标节点的内核默认参数至预设内核参数，以减少目标节点的操作系统占用内存；对调参后的分布式集群系统中各个计算机节点进行负载控制。本申请能够有效提升分布式集群系统的资源利用率。

技术领域

本申请主要涉及分布式集群技术领域，具体涉及一种分布式集群负载的控制方法及装置。

背景技术

随着大数据技术的发展，大数据计算集群上作业数量、作业各类不断增多，大数据计算集群经常性会面对用户资源不足，作业运行无法提交的情况，各个计算机节点的实际资源利用率不高。并且大数据分布式系统已经拥有了专用的宏观参数，比如集群维度的队列、调度策略等，现有技术都是通过调节这些宏观参数配置去直接实现宏观功能的，比如修改队列和调度策略等，一般不会去修改计算机节点的内核默认参数。因为微观的操作系统的内核默认参数调整难度比较大，而且数目比较多，操作一个参数可能涉及上千台机器，所以本领域技术人员一般不会去考虑进行微观调节，而宏观的集群队列、调度策略等参数容易调节，数量较少。因此，现有的分布式系统中，为了保持整个集群系统的稳定性，一般不会去修改计算机节点的内核默认参数，都是采用系统自带的内核默认参数。但这些宏观调整效果和微观层面默认的参数不好，导致分布式集群系统的资源利用率较低。

也即，现有技术中分布式集群系统的资源利用率较低。

发明内容

本申请提供一种分布式集群负载的控制方法及装置，旨在解决现有技术中分布式集群系统的资源利用率较低的问题。

第一方面，本申请提供一种分布式集群负载的控制方法，应用于分布式集群系统，所述分布式集群系统包括系统资源管理器及与所述系统资源管理器连接的多个计算机节点，所述分布式集群负载的控制方法包括：

在启动所述分布式集群系统时获取所述分布式集群系统中目标节点的内核默认参数，其中，所述目标节点为所述多个计算机节点中的一个节点，所述内核默认参数包括内存回收趋势控制参数、内存回收脏数据阈值以及脏数据到期时间；

调节所述目标节点的所述内核默认参数至预设内核参数，以减少所述目标节点的操作系统占用内存，所述内核默认参数包括内存回收趋势控制参数、内存回收脏数据阈值以及脏数据到期时间；

对调参后的所述分布式集群系统中各个计算机节点进行负载控制。

可选地，所述对调参后的所述分布式集群系统中各个计算机节点进行负载控制，包括：

获取调参后的所述分布式集群系统中各个计算机节点的任务负载；

判断各个计算机节点中是否存在第一计算节点，其中，所述第一计算节点的任务负载满足高负载条件；

若各个计算机节点中存在所述第一计算节点时，获取任务负载满足低负载条件的第二计算节点；

将所述第一计算节点上运行的任务迁移至所述第二计算节点上运行。

可选地，所述高负载条件包括：CPU使用率高于第一预设CPU使用率，且内存使用率高于第一预设内存使用率；所述低负载条件包括：CPU使用率低于第二预设CPU使用率，且内存使用率低于第二预设内存使用率。

可选地，其中，所述内存回收趋势控制参数表示内核回收用于文件目录和索引节点缓存的倾向，

所述调节所述目标节点的所述内核默认参数至预设内核参数，以减少所述目标节点的操作系统占用内存，包括：

将所述内存回收趋势控制参数的默认值增加至第一预设值。