[发明专利]一种基于Flume与Alluxio的数据收集方法

权利要求书

1.一种基于Flume与Alluxio的数据收集方法，其特征在于，包括如下步骤：

步骤101，安装部署并启用层次存储的Alluxio集群；

步骤102，设计实现flume-alluxio-sink数据下沉组件，并将设计实现的flume-alluxio-sink数据下沉组件的Jar包分发到Flume的每个节点机器的类加载路径；

步骤103，配置数据收集的flume-alluxio-sink数据下沉组件的Type为alluxio；

步骤104，启动所有Flume组件的Agent进程，即可使用基于Flume与Alluxio的数据快速收集方法；

所述步骤102中，flume-alluxio-sink组件的实现主要包括以下步骤：

步骤1021，Alluxio启用分层存储后需要配置分配、回收策略和预留空间；

步骤1022，设计实现继承自AbstractSink抽象类并实现了Configurable接口的AlluxioEventSink类；

步骤1023，定义flume-alluxio-sink组件sink类型参数的值为alluxio；

步骤1024，AlluxioEventSink类实现Configurable接口的Configure(Contextcontext)方法读取有关Alluxio的相关配置参数；

步骤1025，AlluxioEventSink类实现抽象类AbstractSink的process()方法，通过循环处理接收到的数据单元，将它们按照HDFS中对应的文件格式写入Alluxio分布式内存文件系统；

步骤1026，针对HDFS中的不同文件类型，设计研发了HDFS中多种格式数据文件与byte[]数组或ByteBuffer二进制缓冲区数据转换类；

步骤1027，Alluxio在将数据单元写入Alluxio之前会依赖步骤1026所述的数据转换类转化数据类型。

2.根据权利要求1所述的基于Flume与Alluxio的数据收集方法，其特征在于：所述步骤1021中，采用轮询调度分配策略，即分配数据块到有空间的最高存储层，存储目录通过轮询调度选出；采用LRFU回收策略，即基于权重分配的最近最少使用和最不经常使用策略移除数据块；每层存储预留空间比例，MEM预留0.4，SSD预留0.2，HDD不启用预留。

3.根据权利要求1所述的基于Flume与Alluxio的数据收集方法，其特征在于：所述步骤1024中，配置参数包括有：Alluxio的URI地址，文件路径，文件类型，文件名称生成策略，以及文件滚动策略。

4.根据权利要求1所述的基于Flume与Alluxio的数据收集方法，其特征在于：所述步骤1025中，HDFS中对应的文件格式包括文本、顺序文件、Avro文件。

5.根据权利要求1所述的基于Flume与Alluxio的数据收集方法，其特征在于：所述步骤1026中，设计HDFS中文本、顺序文件、Avro文件与byte[]数组或ByteBuffer二进制缓冲区数据转换类。