[发明专利]基于Ambari-Blueprint云上部署大数据服务的方法

说明书

本发明提供了基于Ambari‑Blueprint云上部署大数据服务的方法，包括以下步骤：S1.获取用户所需要的硬件信息，安装的服务，以及虚拟机数目类型；S2.获取所购服务的对应组件信息；S3.判断组件类型，根据组件的类型分为master服务组件和core服务组件；S4.根据算法策略将组件分布到每个主机上；S5.由算法规则生成blueprint文件；S6.注册blueprint至目标集群；S7.部署所有组件。本发明所述的blueprint技术结合用户所购的主机等环境参数由均衡算法来实现组件的分布，简化了单个服务部署的繁琐性，以及开发监控系统的高额成本。

技术领域

本发明属于大数据技术领域，尤其是涉及基于Ambari-Blueprint云上部署大数据服务的方法。

背景技术

目前大数据服务组件之间版本依赖性较强，采用脚本方式去分别部署hadoop、spark等大数据组件，需要为每个服务开发部署脚本。不仅不好维护且需要自生去完成对服务组件的监控，将会消耗公司大量的人力物力财力。″假舆马者非利足也而至千里，假舟楫者非能水也而绝江河″。Ambari就是很好″利器″。我们应将他加以改善融合到自己的平台产品中。

发明内容

有鉴于此，本发明旨在提出基于Ambari-Blueprint云上部署大数据服务的方法，以解决采用脚本方式去部署大数据组件时，需要为每个服务开发部署脚本的问题。

为达到上述目的，本发明的技术方案是这样实现的：

基于Ambari-Blueprint云上部署大数据服务的方法，包括以下步骤：

S1.获取用户所需要的硬件信息，安装的服务，以及虚拟机数目类型；

S2.获取所购服务的对应组件信息；

S3.判断组件类型，根据组件的类型分为master服务组件和core服务组件；

S4.根据算法策略将组件分布到每个主机上；

S5.由算法规则生成blueprint文件；

S6.注册blueprint至目标集群；

S7.部署所有组件。

进一步的，所述步骤S1中的硬件信息包括主机类型、网络、主机IP、用户名、密码、服务。

进一步的，所述主机类型包括：master节点、core节点；

所述服务包括：hadoop服务、hive服务、hbase服务、spark服务、zookeeper服务，所述hadoop服务、hive服务、hbase服务、spark服务、zookeeper服务的主组件安装在master节点上，hadoop服务、hive服务、hbase服务、spark服务、zookeeper服务的其他组件安装在core节点上。

进一步的，所述hadoop服务包括hdfs服务、yarn服务；

hdfs服务包含NAMENODE服务、SECONDARY_NAMENODE服务、DATANODE服务、HDFS_CLIENT′服务，所述NAMENODE服务、SECONDARY_NAMENODE服务为master服务组件，所述DATANODE服务、HDFS_CLIENT′服务为core服务组件；

yarn服务包括RESOURCEMANAGER服务、APP_TIMELINE_SERVER服务、NODEMANAGER服务、YARN_CLIENT′服务，所述RESOURCEMANAGER服务、APP_TIMELINE_SERVER服务为master服务组件，所述NODEMANAGER服务、YARN_CLIENT′服务为core服务组件。