[发明专利]一种集群配置动态探测合并加载方法

说明书

本发明公开了一种集群配置动态探测合并加载方法，包括：步骤1，通过配置管理客户端管理集群配置；步骤2，配置管理服务器端接收配置管理客户端的配置修改请求并把配置按指定格式写入配置管理中心；步骤3，配置探测模块实时监听配置管理中心的集群配置节点；当配置探测模块检测到节点的内容出现变化时，集群同步新的配置到本地，并更新相应节点的状态。本发明为所有配置提供版本管理和日志，维护过程中能够应用任一版本的配置；集群配置文件动态探测加载的同时，保证不中断当前正执行的任务；提供统一的配置修改入口，对修改的配置增加合法性检查；配置管理流量控制和配置合并应用，保证集群不会因为配置修改而频繁重启。

技术领域

本发明涉及数据处理集群管理领域，具体涉及一种集群配置动态探测合并加载方法。

背景技术

随着计算机和信息技术的迅猛发展和普及应用，行业应用系统的规模迅速扩大，行业应用所产生的数据呈爆炸性增长。人们提出了大数据的概念。随着谷歌MapReduce和GoogleFile System(GFS)的发布，大数据不再仅用来描述大量的数据，还涵盖了处理数据的速度。大数据处理是一种通过Internet以服务的方式提供动态可伸缩的虚拟化的资源的计算模式。集群管理是这种计算模式必不可少的一部分。

现有分布式集群在管理上存在着这样一些缺陷：

1、在集群管理过程中，对于某一配置的修改，需要对集群的每一个节点都做相同的修改。很容易出现由于失误或对系统不熟，只修改了部分节点的情况，导致系统配置状态不一致。

2、修改配置过程中，需要重启集群才能使配置生效，这样会使部分任务由于节点重启，进行重复计算，浪费计算资源，降低效率。

3、大多数情况都是直接以文本编辑的方式直接修改配置文件，进一步增加了出现人为错误的可能性。

4、一些由于配置不正确导致的错误很难追溯。

发明内容

本发明为了解决上述技术问题，目的在于提供一种集群配置动态探测合并加载方法。

本发明通过下述技术方案实现：

一种集群配置动态探测合并加载方法，包括：

步骤1，通过配置管理客户端管理集群配置；

步骤2，配置管理服务器端接收配置管理客户端的配置修改请求并把配置按指定格式写入配置管理中心；

步骤3，配置探测模块实时监听配置管理中心的集群配置节点；当配置探测模块检测到节点的内容出现变化时，集群同步新的配置到本地，并更新相应节点的状态；

步骤4，主节点集群配置状态维护模块从集群的各工作节点获取各工作节点的配置状态；工作节点的配置状态包括节点的配置版本号、配置已应用状态、配置同步未应用状态；当各工作节点启动或者配置更新时，各工作节点将自己的状态注册到主节点；

步骤5，重载模块位于每个节点上；当重载模块位于集群的主节点上，执行步骤6；当重载模块位于集群的工作节点上，执行步骤7；

步骤6，重载模块处于主节点时，重载模块分配任务给工作节点之前先查看相应的工作节点的状态，如果相应的工作节点配置更新且配置已应用，则重载模块分配任务给相应的工作节点；

步骤7，重载模块处于工作节点时，

重载模块查看相应的工作节点的配置版本号是否最新，如果相应的工作节点的配置版本号不是最新，则执行步骤3；

如果相应的工作节点的配置版本号是最新，重载模块查看相应的工作节点是否处于配置同步未应用状态，如果相应的工作节点处于配置同步未应用状态，重载模块通知主节点该相应的工作节点拒绝接受新任务；