[发明专利]大数据平台搭建系统、方法、设备及计算机可读介质

说明书

本发明提出一种大数据平台搭建系统，包括：Web层，用于接收用户的服务请求；管理层，用于接收Web层的服务请求，并生成服务安装、部署和管理命令；容器层，其包括多个容器集群，用于执行管理层的命令并反馈命令执行结果；资源层，用于为所述容器层提供载体。本发明基于容器构建大数据服务，通过容器屏蔽底层物理机的不一致性，因此服务不感知物理机，可以方便进行资源扩展和管理。同时，还解决了资源异构问题，可以将服务部署在云端或者物理机上。

技术领域

本发明涉及大数据技术领域，尤其涉及一种大数据平台搭建系统及方法、设备和计算机可读介质。

背景技术

目前，搭建大数据平台的解决方案有Cloudera、Ambari等，然而底层都是基于物理机逐步完成各种大数据服务的安装和部署，因此对于物理机必须保持高度一致性。

因此，现有技术中仍然存在以下的缺点：

1、目前构建大数据服务的底层都是基于物理机，对物理机的一致性要求高，且不方便对平台进行整体资源的扩展和管理。同时，不便于服务的云化部署和管理。

2、由于目前技术在同一个集群中只能部署一套服务，不便于多用户使用。

3、现有的容器编排工具可以决定容器之间如何进行交互，然而只能解决容器管理本身相关的编排问题，而无法解决基于容器的应用的编排问题。

发明内容

本发明实施例提供一种大数据平台搭建方法、装置、设备及计算机可读介质，以解决或缓解现有技术中的一个或多个技术问题。

第一方面，本发明实施例提供了一种大数据平台搭建系统，包括：

Web层，用于接收用户的服务请求；

管理层，用于接收Web层的服务请求，并生成服务安装、部署和管理命令；

容器层，其包括多个容器集群，用于执行管理层的命令并反馈命令执行结果；

资源层，用于为所述容器层提供载体。

结合第一方面，本发明在第一方面的第一种实现方式中，所述Web层通过用户交互界面接收用户的服务请求。

结合第一方面，本发明在第一方面的第二种实现方式中，所述管理层包括：管理服务器、数据库、从节点、资源调度模块和客户端接口；

所述管理服务器，用于接收Web层的服务请求；

所述从节点，用于异步执行用户的服务请求，并发送调用信号至所述资源调度模块和客户端接口；

所述资源调度模块，用于统一管理各个容器集群的资源信息，为服务分配资源；

所述客户端接口，用于访问容器层的集群，下发服务安装、部署和管理的命令到所述容器集群中，并获取命令执行结果；

所述数据库，用于存储服务请求的信息、服务部署完成后的信息、容器集群和服务资源信息。。

结合第一方面，本发明在第一方面的第三种实现方式中，所述容器集群包括多个节点，每个节点中包括多个服务模块，每个服务模块包括多个容器。

结合第一方面，本发明在第一方面的第四种实现方式中，所述资源层包括云端和物理机。

第二方面，本发明实施例提供了一种大数据平台搭建方法，包括以下步骤：

通过Web层接收用户的服务请求；

通过管理层接收Web层的服务请求，并生成服务安装、部署和管理命令；

通过容器层执行管理层的命令并反馈命令执行结果，所述容器层包括多个容器集群，并部署在资源层中。