[发明专利]一种基于绝对的时间滑动窗口的流量实时统计方法及引擎

权利要求书

1.一种基于绝对的时间滑动窗口的流量实时统计方法，其特征在于，包括：

对于要存储的数据，采用随机的跳跃链表结构进行存储；

基于跳跃链表结构，设置评分字段，为各节点建立关联；

基于任意时间窗口获取数据；

根据获取到的数据进行统计分析，得到统计分析结果；

所述对于要存储的数据，采用随机的跳跃链表结构进行存储，包括，

在跳跃链表结构的最底层采用一个链式结构，每当有数据插入时，每一个插入节点会随机配置一个层数，每一层存储指向下一个拥有该层数节点的指针；

引擎在执行查找操作的情形下，优先检索层数最高的节点，并通过二分查找法的原理，逐层向下检索，直到找到需要的数据；

所述基于跳跃链表结构，设置评分字段，为各节点建立关联，包括：

在跳跃链表结构中，对每一个节点添加评分字段，使数据结构可以通过该字段作为排序的唯一标识；

对每一个节点添加每一个层级的前、后指针，以达到对任意两个节点都可以快速查找到节点中的全部数据；

所述基于任意时间窗口获取数据，包括：

获取两个时间间隔相同的时间戳，作为一个时间窗口，不断的移动时间窗口，获取该时间窗口中所有时间节点的数据；

所述方法还包括：基于时间戳的基础上，记录各个时间节点的数据，每次记录后计算最大最小时间节点，只留存预设时间窗口大小的数据节点；

所述根据获取到的数据进行统计分析，得到统计分析结果，包括：

各节点根据对应的时间窗口数据，对各数据对应的ip衍生出若干个以ip为唯一标识的set集合，并将这一ip分类下的每一条数据以跳跃链表结构进行存储；

将每一条数据通过正则划分不同维度，具体可以根据标签的分类进行多维度划分，然后将这些维度的信息分别存储在多个新的跳跃链表中，节点记录每一个ip的每一个时间窗口的统计数据，最终输出包括所有统计数据的统计分析结果。

2.一种基于绝对的时间滑动窗口的流量实时统计引擎，其特征在于，包括：

存储模块，用于对于要存储的数据，采用随机的跳跃链表结构进行存储；

设置模块，用于基于跳跃链表结构，设置评分字段，为各节点建立关联；

数据获取模块，用于基于任意时间窗口获取数据；

统计模块，用于根据获取到的数据进行统计分析，得到统计分析结果；

所述对于要存储的数据，采用随机的跳跃链表结构进行存储，包括，

在跳跃链表结构的最底层采用一个链式结构，每当有数据插入时，每一个插入节点会随机配置一个层数，每一层存储指向下一个拥有该层数节点的指针；

引擎在执行查找操作的情形下，优先检索层数最高的节点，并通过二分查找法的原理，逐层向下检索，直到找到需要的数据；

所述基于跳跃链表结构，设置评分字段，为各节点建立关联，包括：

在跳跃链表结构中，对每一个节点添加评分字段，使数据结构可以通过该字段作为排序的唯一标识；

对每一个节点添加每一个层级的前、后指针，以达到对任意两个节点都可以快速查找到节点中的全部数据；

所述基于任意时间窗口获取数据，包括：

获取两个时间间隔相同的时间戳，作为一个时间窗口，不断的移动时间窗口，获取该时间窗口中所有时间节点的数据；

所述引擎还包括：基于时间戳的基础上，记录各个时间节点的数据，每次记录后计算最大最小时间节点，只留存预设时间窗口大小的数据节点；

所述根据获取到的数据进行统计分析，得到统计分析结果，包括：

各节点根据对应的时间窗口数据，对各数据对应的ip衍生出若干个以ip为唯一标识的set集合，并将这一ip分类下的每一条数据以跳跃链表结构进行存储；

将每一条数据通过正则划分不同维度，具体可以根据标签的分类进行多维度划分，然后将这些维度的信息分别存储在多个新的跳跃链表中，节点记录每一个ip的每一个时间窗口的统计数据，最终输出包括所有统计数据的统计分析结果。

3.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，

所述处理器执行所述程序时实现权利要求1所述方法的步骤。

4.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有程序，所述程序被执行时，能够实现如权利要求1所述的方法。