[发明专利]基于虚拟机快照的hadoop集群自动化恢复技术

说明书

技术领域

本发明专利涉及一种hadoop集群自动化恢复技术，尤其是基于云环境中虚拟机快照的集群快速自动化恢复技术。

背景技术

目前，公知的hadoop集群在运行的过程中一旦某个节点宕机，或者发生其他异常，就会发生集群部分数据丢失、不能正常运转等问题。这时候就需要重启服务、甚至重启主机，有时候还会造成重启后的服务不能正常启动的情况。如果要用于企业生产，在安全性和可靠性方面存在一定的隐患，会给企业带来不利影响，在一定程度上浪费了资金和时间。

发明内容

为了克服现有的hadoop集群遇到节点宕机不能自动恢复的缺陷，本发明专利提供了一种基于虚拟机快照的hadoop集群自动化恢复技术。

本发明的技术方案是，在云计算平台中搭建hadoop集群，给集群安装ganglia监控系统检测其运行状态，通过现有的云计算平台为hadoop集群中涉及到的主机定时打快照的方式，当监控系统检测到hadoop集群中有虚拟机宕机的时候，立即触发虚拟机维护程序，云平台会自动抓取最新的虚拟机快照，利用快照快速恢复主机，并启动hadoop服务。

本发明还包含一种操作方法，其步骤如下：

1.     在云平台中搭建好hadoop集群；

2.     为hadoop集群安装监控系统，通过查看其性能参数和监控hadoop各角色的启动情况，检测各节点的运行状态；云平台中建立定时任务，为hadoop所涉及到的主机定时建立快照，并定时删除过旧的虚机快照；

3.     云平台中建立定时任务，为hadoop所涉及到的主机定时建立快照，并定时删除过旧的虚机快照；

4.     检测到有主机宕机异常时，调用云平台的自动恢复主机接口，系统会抓取最新的主机快照，通过vm快照还原已损坏的主机；

5.     自动启动已恢复主机；

6.     启动hadoop服务；

7.     调用hadoop命令平衡数据块。

本发明专利的有益效果是：由于本发明在遇到宕机异常时，能够快速的恢复其正常状态，不影响用户的使用感受和使用效果，客服了之前由于个别节点异常带来的不利后果，节省了维护的时间和成本，使得hadoop集群在实际使用中的可靠性和安全性大大提高。

附图说明

      图1为本发明的技术流程图。

具体实施方式

为了更清楚地介绍本发明提出的基于虚拟机快照的hadoop集群自动化恢复技术，下面将结合附图进行详细说明。

本发明提供了一种基于虚拟机快照的hadoop集群自动化恢复技术，主要用于解决现有的hadoop集群遇到节点宕机不能自动恢复的缺陷。

本发明的具体技术解决方案如下：

结合图1，此方法包括如下步骤：

1)      在云平台中搭建好hadoop集群；

2)      为hadoop集群安装监控系统，通过查看其性能参数和监控hadoop各角色的启动情况，检测各节点的运行状态；

3)      云平台中建立定时任务，为hadoop所涉及到的主机定时建立快照，并定时删除过旧的虚机快照；

4)      监测到有主机宕机异常时，调用云平台的自动恢复主机接口，系统会抓取最新的主机快照，通过vm快照还原已损坏的主机；

5)      自动启动已恢复主机；

6)      启动hadoop服务；

7)      调用hadoop命令平衡数据块。

以上实施例仅用于说明本发明的优选实施方式， 但本实用发明并不限于上述实施方式，在所述领域普通技术人员所具备的知识范围内， 本发明的精神和原则之内所作的任何修改、 等同替代和改进等， 其均应涵盖在本发明请求保护的技术方案范围之内。