[发明专利]一种Flume集群的管理方法、装置及系统

说明书

本发明公开了一种Flume集群的管理方法、装置及系统，其中，所述方法包括：接收web接口端发送的用于启动Flume任务的启动请求；根据所述Flume集群当前的资源使用情况、所述Flume任务的运行资源、以及所述Flume任务的优先级，将所述Flume任务分配至所述Flume集群中的第一机器；生成针对所述Flume任务的启动程序；根据所述启动程序，控制所述第一机器启动所述Flume任务，并通过Container容器化技术限定所述Flume任务的运行资源，以使所述第一机器可启动多个Flume任务。用于解决现有技术对Flume集群的管理性能较差的技术问题，提高了对Flume集群的管理性能。

技术领域

本发明涉及大数据技术领域，特别涉及一种Flume集群的管理方法、装置及系统。

背景技术

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的日志收集系统，支持在日志系统中定制各类数据发送方(如：Kafka、HDFS等)，便于收集数据。它具有基于流数据流的简单灵活的架构，可靠的故障切换能力和容错能力，良好的鲁棒性。

在现有技术中，无法自动管理Flume集群，对于整个集群的资源，目前只能靠人工计算来为新的Flume任务分配资源，并且，对于Flume任务的启动、停止等管理与操作只能人为地手动在每台集群机器上执行。比如，Flume集群中的一台机器启动一个新的Flume任务时，首先要人为地分配集群资源，然后，再手动登录到指定机器，进而手动启动该Flume任务对应的Flume进程。也就是说，对于Flume集群，无法做到对Flume任务的管理以及集群资源的自动化管理。

此外，当前大部分Flume流式数据传输应用，其拓扑接口相对来说比较复杂，需手动书写Flume配置文件，不仅要求对Flume的配置文件编写较为熟悉，而且整个过程繁琐，工作量大，容易出错，特别是Flume用于大规模数据传输时更是如此。

可见，现有技术存在对Flume集群的管理性能较差的技术问题。

发明内容

本发明实施例提供一种Flume集群的管理方法、装置及系统，用于解决现有技术对Flume集群的管理性能较差的技术问题，提高了对Flume集群的管理性能。

一方面，本发明实施例提供了一种Flume集群的管理方法，应用于服务器端，所述方法包括：

接收web接口端发送的用于启动Flume任务的启动请求；

根据所述Flume集群当前的资源使用情况、所述Flume任务的运行资源、以及所述Flume任务的优先级，将所述Flume任务分配至所述Flume集群中的第一机器；

生成针对所述Flume任务的启动程序；

根据所述启动程序，控制所述第一机器启动所述Flume任务，并通过Container容器化技术限定所述Flume任务的运行资源，以使所述第一机器可启动多个Flume任务。

可选地，在根据所述启动程序，控制所述第一机器启动所述Flume任务之后，所述方法还包括：

获得包括所述Flume集群的运行信息和所述Flume任务的运行信息的运行信息集合；

将所述运行信息集合发送至所述web接口端，指示所述web接口端对所述运行信息集合进行显示，以监控所述Flume集群以及所述Flume任务。

可选地，所述方法还包括：

在前端界面上接收到用户针对包括source组件、channel组件、sink组件的Flume组件的控制操作之后，获得所述Flume组件的配置参数集合；

基于所述配置参数集合，生成用于指明流式数据传输的源头、通道和目的地的Flume配置文件，创建所述Flume任务。