[发明专利]一种大数据应用的管理方法、装置、设备及存储介质

说明书

本发明公开了一种大数据应用的管理方法、装置、设备及存储介质，包括：获取多个业务流程对应的业务需求信息，根据各业务需求信息制定匹配的大数据架构；大数据架构中包括多个大数据应用，以及各大数据应用之间的关联关系；获取预设的大数据应用管理器，根据大数据架构，对大数据应用管理器中栈进行修改，得到目标栈；根据大数据架构以及目标栈，编写对各大数据应用进行安装以及管理的代码程序；对代码程序进行编译处理，得到目标管理组件，并将目标管理组件安装至应用系统中。本发明实施例的技术方案可以提高大数据应用版本的灵活性，可以提高对大数据应用的安装效率，降低大数据应用的安装和管理难度。

技术领域

本发明实施例涉及大数据技术领域，尤其涉及一种大数据应用的管理方法、装置、设备及存储介质。

背景技术

随着互联网技术以及信息技术的发展，大量的信息被数据化，产生了无法用常规工具捕捉、管理和处理的海量数据集合，这种数据集合也称为大数据。大数据包含了数据采集、数据筛选、数据存储及数据分析等过程，不同的过程对应的是不同的大数据应用平台，而且大数据应用平台几乎都是分布式架构，想要利用好大数据，就需要众多的大数据应用平台协同工作，而众多的大数据平台的安装及运维就变得非常复杂。如果有一个能安装、管理分布式大数据应用的工具，可以将众多的大数据应用统一管理，即可将有效减少应用的安装和管理难度。

目前通用的大数据应用的管理工具，主要有Cloudera和Hortonworks。其中，Cloudera指定了各个大数据应用的版本(Cloudera提供的CDH版本)，用户无法安装使用除指定版本以外的其它版本；其次，Cloudera支持的大数据应用的版本较低，无法快速支持较新或最新的版本，且Cloudera支持的大数据应用有限，虽然其支持了常用的大数据应用，但无法支持其它应用，并且无法默认支持优化配置项。

与Cloudera类似，Hortonworks同样指定了各个大数据应用的版本(Hortonworks提供的HDP版本)，Hortonworks中的Ambari结合HDP使用，用户仍无法安装使用除指定版本以外的其它版本，并且，Hortonworks支持的大数据应用的版本更低，无法快速支持较新或最新的版本，无法默认支持优化配置项；此外，Hortonworks仅提供软件包管理器(RPMPackage Manager，RPM)安装方式，导致大数据应用安装方式灵活性较低。

发明内容

本发明实施例提供了一种大数据应用的管理方法、装置、设备及存储介质，可以提高大数据应用版本的灵活性，可以提高对大数据应用的安装效率，降低大数据应用的安装和管理难度。

第一方面，本发明实施例提供了一种大数据应用的管理方法，所述方法包括：

获取多个业务流程对应的业务需求信息，根据各所述业务需求信息制定匹配的大数据架构；所述大数据架构中包括多个大数据应用，以及各大数据应用之间的关联关系；

获取预设的大数据应用管理器，根据所述大数据架构，对所述大数据应用管理器中栈进行修改，得到目标栈；

根据所述大数据架构，以及所述目标栈，编写对各所述大数据应用进行安装以及管理的代码程序；

对所述代码程序进行编译处理，得到目标管理组件，并将所述目标管理组件安装至应用系统中。

第二方面，本发明实施例还提供了一种大数据应用的管理装置，该装置包括：

信息获取模块，用于获取多个业务流程对应的业务需求信息，根据各所述业务需求信息制定匹配的大数据架构；所述大数据架构中包括多个大数据应用，以及各大数据应用之间的关联关系；

目标栈生成模块，用于获取预设的大数据应用管理器，根据所述大数据架构，对所述大数据应用管理器中栈进行修改，得到目标栈；

程序编写模块，用于根据所述大数据架构，以及所述目标栈，编写对各所述大数据应用进行安装以及管理的代码程序；