[发明专利]用于低延迟数据存取的数据流分割

权利要求书

1.一种通信方法，包括：

基于实时用户活动在多个前端服务器处产生日志数据；

将所述日志数据传输至聚合服务器；

在所述聚合服务器处聚合所述日志数据；

通过基于所述日志数据的多个条目计算散列值、以及对于所述多个条目，以总桶数为模通过所述散列值确定桶号，基于所述桶号将所述日志数据分割到多个日志数据流；并且

将所述日志数据流并行馈送到至少一个后端服务器。

2.根据权利要求1所述的方法，其中，所述分割的步骤包括：

随机分割所述日志数据使得所述日志数据被均匀分布至多个日志数据流。

3.根据权利要求1所述的方法，进一步包括：

从所述后端服务器接收关于如何将所述日志数据分割到多个日志数据流的指令。

4.根据权利要求1所述的方法，进一步包括：

对于所述日志数据的每个条目，以总桶数为模通过应用标识和类目字段的散列函数计算桶号，其中，总桶数是所述多个日志数据流的总数；并且

将所述日志数据的条目分配至通过所述桶号识别的日志数据流。

5.根据权利要求4的所述方法，其中，所述类目字段包括日志数据条目的预期目的地的高级描述。

6.根据权利要求4的所述方法，其中，所述应用标识识别处理日志数据条目的数据消耗应用。

7.根据权利要求1所述的方法，其中，所述日志数据包括多个日志数据条目；并且

所述方法进一步包括：

对于每个日志数据条目，随机生成从1至总桶数的整数，其中，所述总桶数是所述多个日志数据流的总数；并且

将日志数据条目分配至通过桶号识别的日志数据流。

8.根据权利要求1所述的方法，其中，通过能用于接收所述日志数据流的后端服务器的数量和每个后端服务器能够处理的连接数来确定总桶数。

9.根据权利要求1所述的方法，其中，通过在至少一个后端服务器上运行的数据消耗应用指示总桶数。

10.根据权利要求8的所述方法，其中，当所述后端服务器接收并且处理所述日志数据流时所述后端服务器是等载的。

11.根据权利要求1所述的方法，进一步包括：

检查所述日志数据的条目的前缀以确定被分配所述条目的所述日志数据流。

12.根据权利要求1所述的方法，进一步包括：

将所述日志数据发送至数据仓库；并且

处理在所述数据仓库处的所述日志数据使得所述数据仓库能够基于所处理的日志数据对数据查询做出响应。

13.根据权利要求1所述的方法，其中，通过在一个或多个后端服务器上运行的数据消耗应用指示总桶数，并且通过能用于接收所述日志数据流的所述后端服务器的数量和所述后端服务器中的每个后端服务器能够处理的连接数来确定所述总桶数。

14.一种计算机实施系统，包括：

多个前端服务器，配置成用于基于实时用户活动产生日志数据；

以及

至少一个聚合服务器，配置成用于聚合从所述前端服务器中的至少一些接收的所述日志数据，所述聚合服务器经由网络与所述前端服务器中的至少一些相连；

其中，所述聚合服务器包括配置成用于暂存所述日志数据的数据暂存区，并且所述聚合服务器被配置成用于通过基于所述日志数据的多个条目计算散列值、以及对于所述多个条目，以总桶数为模通过所述散列值确定桶号，基于所述桶号将所述日志数据分割到多个日志数据流以便一个或多个后端服务器能够并行检索所述日志数据流。

15.根据权利要求14所述的计算机实施系统，其中，所述聚合服务器进一步配置成用于：

对于所述日志数据的每个条目，以总桶数为模通过应用标识和类目字段的散列函数计算桶号，其中，总桶数是所述多个日志数据流的总数；并且

将日志数据的条目分配至通过所述桶号识别的日志数据流。