[发明专利]大数据服务组件管理方法、计算机装置及存储介质

说明书

本发明提供一种大数据服务组件管理方法、计算机装置及存储介质，该方法包括：获取到安装当前服务组件的指令时，对当前服务组件以及对应的依赖组件进行版本配置；确定各个组件安装节点地址，拉取组件程序包进行集群节点分发；执行组件安装部署，配置文件分发，生成操作指令脚本；基于组件依赖图谱，执行各节点对应的操作指令脚本，对服务组件进行启动操作。应用本发明的大数据服务组件管理方法可实现大数据平台集群自动化安装部署，快速、高效的构建大数据集群。

技术领域

本发明涉及计算机大数据技术领域，具体的，涉及一种大数据服务组件管理方法，还涉及应用该大数据服务组件管理方法的计算机装置，还涉及应用该大数据服务组件管理方法的计算机可读存储介质。

背景技术

随着大数据、云计算的快速发展，大数据平台作为大数据分析工具被广泛应用于各行各业中，对大数据平台进行管理运维是不可避免的一个环节。目前更多的是基于手工方式(Apache hadoop)部署，在部署过程需要自己解决各个组件间版本兼容问题，各服务组件需配置的参数较多，不仅非常繁琐，而且很容易出错，原生的webUI不能执行服务的启停操作，各个组件之间的webUI界面是相互独立的，大部分功能仅限于read－only的操作，无法执行其它操作，很难统一监控整个集群的运行情况，缺少告警通知，服务组件扩展升级困难，需要自行手工操作等，为了实现大数据平台的运维管理工作，往往需要大量的手工操作，比较繁琐，出错率高，不利于大数据平台的管理、监控、运维、升级与组件快速集成。

目前市场上已有一些大数据运维管理工具，例如，Ambari管理工具，基于Ambari作为大数据组件运维管理服务，虽然能够简便快速地安装部署、对各服务组件进行监控与管理，但是由于社区版已经停止更新、不再对社区版进行维护，版本无法与apahce大数据生态组件版本保持同步更新；而且现有的架构metircs老旧，代码臃肿，stack在内部维护，强耦合；自定义Stack与集成组件复杂，不便于做二次开发服务组件集成；基于RPM包安装，组件升级补丁，需要重新构建rpm包，容易出错，构建难度高，不利于后期的大数据平台扩展、升级以及二次开发组件集成。

发明内容

本发明的第一目的是提供一种可实现大数据平台集群自动化安装部署，快速、高效的构建大数据集群的大数据服务组件管理方法。

本发明的第二目的是提供一种实现大数据平台集群自动化安装部署，快速、高效的构建大数据集群的计算机装置。

本发明的第三目的是提供一种实现大数据平台集群自动化安装部署，快速、高效的构建大数据集群的计算机可读存储介质。

为了实现上述第一目的，本发明提供的大数据服务组件管理方法包括：获取到安装当前服务组件的指令时，对当前服务组件以及对应的依赖组件进行版本配置；确定各个组件安装节点地址，拉取组件程序包进行集群节点分发；执行组件安装部署，配置文件分发，生成操作指令脚本；基于组件依赖图谱，执行各节点对应的操作指令脚本，对服务组件进行启动操作。

由上述方案可见，本发明的大数据服务组件管理方法在需要安装当前服务组件时，通过对当前服务组件以及对应的依赖组件一起进行版本配置，从而实现大数据平台集群自动化安装部署，快速、高效的构建大数据集群。

进一步的方案中，对当前服务组件以及对应的依赖组件进行版本配置的步骤包括：创建当前服务组件的组件项；对当前服务组件进行配置项定义；保存定义后的配置项。

由此可见，通过对当前服务组件进行配置项定义，可便于维护大数据组件之间的版本配置信息。

进一步的方案中，对当前服务组件进行配置项定义的步骤包括：根据用户等级权限进行配置项定义。

由此可见，对当前服务组件进行配置项定义时，根据用户等级权限进行配置项定义，可避免用户误操作造成组件配置错误。