[发明专利]基于Kubernetes组建Hadoop集群的实现方法

权利要求书

1.基于Kubernetes组建Hadoop集群的实现方法，所述Hadoop集群中运行至少一个节点；其特征在于，包括：

S1、Manager节点循环监听Hadoop集群中各节点的配置信息，并以所述配置信息动态地封装为系统文件；通过Kubernetes API将系统文件以挂载共享文件方式向Hadoop集群中各节点进行更新操作；

S2、接收自用户对Hadoop集群发起的管理请求，对Hadoop集群中的节点根据所述管理请求执行更新操作并通知Manager节点，Manager节点接收执行更新操作的节点所发出的修改请求对所述配置信息进行更新，并根据更新后的配置信息对系统文件进行修改。

2.根据权利要求1所述的实现方法，其特征在于，在Manager节点根据更新后所形成的配置信息对系统文件进行修改之后，还包括：Manager节点根据更新后的配置信息对系统文件执行刷新操作。

3.根据权利要求1所述的实现方法，其特征在于，所述步骤S1在Manager节点被启动的同时被执行，所述步骤S1在Manager节点中以后台运行方式被执行，并被配置为系统插件或者系统进程。

4.根据权利要求1或2或者3所述的实现方法，其特征在于，所述系统文件被配置为Hosts文件、txt格式文件、xml格式或者JS对象标记；

所述配置信息由Hostname、IP、GPU使用率、更新操作持续时间或者运行所述Hadoop集群所依赖的硬件设备的硬件功率值中的至少一种组成。

5.根据权利要求4所述的实现方法，其特征在于，当Hadoop集群中的节点根据所述管理请求执行更新操作时，基于所述管理请求将发生更新操作的节点与未发生更新操作的节点所形成的更新后的配置信息对系统文件进行修改，并通知Manager节点。

6.根据权利要求4所述的实现方法，其特征在于，当Hadoop集群中的节点执行更新操作时，基于所述管理请求先将未发生更新操作的节点所形成的更新后的配置信息对系统文件进行修改，然后将发生更新操作的节点所形成的配置信息对已经修改后的系统文件进行再次修改，并通知Manager节点，并由Manager节点根据更新后的配置信息对系统文件进行修改。

7.根据权利要求4所述的实现方法，其特征在于，所述步骤S1中的更新操作包括：增量服务更新操作和/或缩量服务更新操作；

其中，

所述增量服务更新操作包括节点注册操作或者节点创建操作；

所述缩量服务更新操作包括节点删除操作、节点挂起操作、拒绝节点响应操作或者脱离Hadoop集群操作。

8.根据权利要求7所述的实现方法，其特征在于，所述步骤S1中Manager节点通过往复的轮询操作，循环监听Hadoop集群中各节点的配置信息，并根据节点处理性能与节点网络状况，确定下一次执行轮询操作的间隔时间T，

间隔时间T＝γ*∑_节点数量(α/节点处理性能+β/节点网络状况)；

其中，γ∈[1，2]，α∈[1，2]，β∈[1，2]。

9.根据权利要求8所述的实现方法，其特征在于，所述“确定下一次执行轮询操作的间隔时间T”包括：

首先，计算执行轮询Hadoop集群中响应最快的节点所需要的时间作为初始化间隔时间T’，并确定初始化γ；

然后，计算Hadoop集群中未被轮询到的节点的数量与Hadoop集群中全部节点的数量的比值1/K，以根据比值1/K确定初始化γ的增加倍数M，并符合M*1/K大于或者等于1的关系。

10.根据权利要求5至9中任一项所述的实现方法，其特征在于，所述Manager节点与各个节点之间配置为星型拓扑结构；

步骤S1中对系统文件采用加密方式进行动态地封装，所述加密方式包括：对称加密方式或者非对称加密方式。