[发明专利]数据处理方法和数据处理装置

权利要求书

1.一种数据处理方法，包括：

从消息队列中消费日志数据并将所消费的日志数据存储在临时缓存中， 其中，所述消息队列用于存储来自客户端的日志数据；

对存储在所述临时缓存中的日志数据中的至少一部分进行整理，以获得 经整理的日志数据；以及

将所述经整理的日志数据存储在文件系统中。

2.如权利要求1所述的数据处理方法，其特征在于，在所述将所述经整 理的日志数据存储在文件系统中之后，所述数据处理方法进一步包括：

从所述临时缓存中删除所述存储在所述临时缓存中的日志数据中的至少 一部分，以将新消费的日志数据存储在所述临时缓存中。

3.如权利要求2所述的数据处理方法，其特征在于，所述数据处理方法 进一步包括：

接收查询请求；

根据所述查询请求从存储在所述文件系统中的经整理的日志数据以及存 储在所述临时缓存中的日志数据中查询期望数据；

对所述期望数据进行汇总以获得查询结果；以及

输出所述查询结果。

4.如权利要求3所述的数据处理方法，其特征在于，

所述接收查询请求、所述对所述期望数据进行汇总以获得查询结果和所 述输出所述查询结果是利用德鲁伊数据库中的代理节点来实现；

所述根据所述查询请求从存储在所述文件系统中的经整理的日志数据以 及存储在所述临时缓存中的日志数据中查询期望数据是利用所述德鲁伊数据 库中的实时节点和历史节点来实现；

所述从消息队列中消费日志数据并将所消费的日志数据存储在临时缓存 中、所述对存储在所述临时缓存中的日志数据中的至少一部分进行整理，以 获得经整理的日志数据和所述将所述经整理的日志数据存储在文件系统中是 利用所述实时节点来实现。

5.如权利要求1至4任一项所述的数据处理方法，其特征在于，所述对 存储在所述临时缓存中的日志数据中的至少一部分进行整理包括：

将所述存储在所述临时缓存中的日志数据中的至少一部分中的相关联的 日志数据进行合并并将经合并的日志数据按照时间分片，以生成所述经整理 的日志数据。

6.如权利要求1至5任一项所述的数据处理方法，其特征在于，在所述 将所述经整理的日志数据存储在文件系统中之前，所述数据处理方法进一步 包括：

建立数据索引，所述数据索引用于指示所述经整理的日志数据在所述文 件系统中的存储位置。

7.如权利要求1至6任一项所述的数据处理方法，其特征在于，所述数 据处理方法进一步包括：

监测存储在所述文件系统中的所述经整理的日志数据的数据量；以及

记录在当前记录时刻与前一记录时刻之间的时段内所存储的所述经整理 的日志数据的数据量。

8.如权利要求1至7任一项所述的数据处理方法，其特征在于，所述消 息队列存储在集群服务器中。

9.一种数据处理装置，包括：

消费单元，用于从消息队列中消费日志数据并将所消费的日志数据存储 在临时缓存中，其中，所述消息队列用于存储来自客户端的日志数据；

整理单元，用于对存储在所述临时缓存中的日志数据中的至少一部分进 行整理，以获得经整理的日志数据；以及

存储单元，用于将所述经整理的日志数据存储在文件系统中。

10.如权利要求9所述的数据处理装置，其特征在于，所述数据处理装 置进一步包括：

删除单元，用于从所述临时缓存中删除所述存储在所述临时缓存中的日 志数据中的至少一部分，以将新消费的日志数据存储在所述临时缓存中。