[发明专利]一种数据流处理的方法以及相关装置

权利要求书

1.一种数据流处理的方法，其特征在于，包括：

获取预设时间段内的数据流和预设字段；

根据预设算法处理所述预设字段，以生成关键字key，所述key用于指示所述数据流在散列hash表中对应的第一数据节点，所述第一数据节点中包括多个链表单元；

根据所述key将所述数据流聚合到对应的所述第一数据节点中，以得到根据时间戳进行排列的多个所述链表单元；

根据聚合后的数据流的时间戳的变化情况对所述统计指标按照预设统计规则进行统计，以得到所述统计指标的统计量。

2.根据权利要求1所述的方法，其特征在于，所述根据预设字段对所述数据流进行聚合之后，所述方法还包括：

判断所述预设时间段的时长与预设聚合时长的大小关系；

所述根据聚合后的数据流的时间戳的变化情况对所述统计指标按照预设统计规则进行统计，包括：

若所述预设时间段的时长大于所述预设聚合时长，则根据所述时间戳的变化量确定所述统计指标的统计量。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

若所述预设时间段的时长小于所述预设聚合时长，则根据所述时间戳确定预设时间段内所述数据流在所述第一数据节点中的指针信息，所述指针信息用于指示所述数据流在所述第一数据节点中的写入范围；

根据所述指针信息统计所述写入范围内的数据流，以确定所述统计指标的统计量。

4.根据权利要求2所述的方法，其特征在于，所述若所述预设时间段的时长大于所述预设聚合时长，则根据所述时间戳的变化量确定所述统计指标的统计量，包括：

根据所述时间戳确定所述key的存在时长；

若所述存在时长大于所述预设聚合时长，则更新所述key在hash表中的对应关系，更新后的对应关系用于指示第二数据节点，所述第二数据节点为当前未根据所述数据流输入所述key的数据节点；

根据所述数据流的时间戳在所述第二数据节点中的变化量确定所述统计指标的统计量。

5.根据权利要求1-5任一项所述的方法，其特征在于，所述根据预设字段对所述数据流进行聚合，包括：

判断所述预设字段是否满足过滤条件，所述过滤条件基于预设字段与预设语法树的对应关系设定；

若满足，则根据预设字段对所述数据流进行聚合。

6.根据权利要求1-5任一项所述的方法，其特征在于，若所述预设统计方式为去重统计，则所述根据预设算法处理所述预设字段，以生成关键字key之后，所述方法还包括：

获取所述key的标识信息，所述标识信息基于所述key的创建时间确定；

根据预设规则对所述key进行去重，以得到去重后的key，所述预设规则基于所述标识信息的相似度设定；

所述根据所述key将所述数据流聚合到对应的所述第一数据节点中，以得到根据时间戳进行排列的多个所述链表单元，包括：

根据所述去重后的key将所述数据流聚合到对应的所述第一数据节点中，以得到根据时间戳进行排列的多个所述链表单元。

7.根据权利要求1-5任一项所述的方法，其特征在于，所述获取预设时间段内的数据流和预设字段之后，所述方法还包括：

根据所述数据流的大小确定存储空间信息；

所述根据预设算法处理所述预设字段，以生成关键字key之后，所述方法还包括：

确定所述key的数量信息；

根据所述key的数量信息更新所述存储空间信息。