[发明专利]一种写入日志的方法和系统

权利要求书

1.一种写入日志的方法，其特征在于，所述方法包括：

步骤1，获取多条日志；

步骤2，根据所述日志中包含的域名的请求量，将所述日志划分为N个等级，其中N为大于等于1的正整数；

步骤3，根据所述日志的等级，分别读取所述日志，并写入HDFS系统；

其中，使用第一Flume系统执行所述步骤1和所述步骤2，使用第二Flume系统执行所述步骤3，所述第二Flume系统包括S组Flume子系统，其中S为大于等于1的正整数，S＝N；

其中，所述方法在所述步骤2和所述步骤3之间还包括：将不同等级的日志分别存储至M个不同的日志队列中，其中M为大于等于1的正整数，M＝N；

其中，所述步骤1包括：所述第一Flume系统中的source组件读取所述多条日志；

所述步骤2包括：所述第一Flume系统中的source组件对所述日志划分等级，并将N个等级的日志分别分配到所述第一Flume系统中的N个channel组件中，使用与所述N个channel组件一一对应的所述第一Flume系统中的N个sink组件分别读取各对应的所述N个channel组件中的日志；

所述步骤3包括：所述第二Flume系统中至少一个Flume子系统中的source组件读取与该Flume子系统相应的日志队列中的日志，将读取的所述日志利用映射算法分配到该Flume子系统的多个channel组件中，使用与所述多个channel组件一一对应的该Flume子系统的多个sink组件分别读取各对应的所述channel组件中的日志。

2.如权利要求1所述的方法，其特征在于，所述步骤2中的域名的请求量为在写入日志前统计的所述域名的请求量。

3.如权利要求1所述的方法，其特征在于，所述步骤3还包括：

将相同等级的日志中访问目标为同一域名并且访问时间位于同一时间段内的日志写入HDFS系统中相同类别的文件中。

4.如权利要求1所述的方法，其特征在于，

使用Kafka系统维护所述M个日志队列。

5.如权利要求1所述的方法，其特征在于，所述映射算法为哈希算法。

6.一种写入日志的系统，其特征在于，所述系统包括：

获取模块，用于获取多条日志；

分级模块，用于根据所述日志中包含的域名的请求量，将所述日志划分为N个等级，其中N为大于等于1的正整数；

写入模块，用于根据所述日志的等级，分别读取所述日志，并写入HDFS系统；

存储模块，用于维护M个不同的日志队列，不同等级的日志分别存储至M个不同的日志队列中，其中M为大于等于1的正整数，M＝N；

其中，所述获取模块和所述分级模块由第一Flume系统实现，所述写入模块由第二Flume系统实现，所述第二Flume系统包括S组Flume子系统，其中S为大于等于1的正整数，S＝N；

其中，所述获取模块由所述第一Flume系统中的source组件实现；

所述分级模块由所述第一Flume系统中的source组件、N个channel组件以及N个sink组件实现，所述第一Flume系统中的source组件对所述日志划分等级，并将N个等级的日志分别分配到所述第一Flume系统中的N个channel组件中，使用与所述N个channel组件一一对应的所述第一Flume系统中的N个sink组件分别读取各对应的所述N个channel组件中的日志；

所述写入模块由所述第二Flume系统中的Flume子系统实现，所述第二Flume系统中至少一个Flume子系统中的source组件读取与该Flume子系统相应的日志队列中的日志，将读取的所述日志利用映射算法分配到该Flume子系统的多个channel组件中，使用与所述多个channel组件一一对应的该Flume子系统的多个sink组件分别读取各对应的所述channel组件中的日志。

7.如权利要求6所述的系统，其特征在于，所述域名的请求量为在写入日志前统计的所述域名的请求量。