[发明专利]一种基于绝对的时间滑动窗口的流量实时统计方法及引擎

说明书

本发明公开一种基于绝对的时间滑动窗口的流量实时统计方法及引擎，属于互联网技术领域，特别涉及一种基于绝对的时间滑动窗口的流量实时统计方法，包括：对于要存储的数据，采用随机的跳跃链表结构进行存储；基于跳跃链表结构，设置评分字段，为各节点建立关联；基于任意时间窗口获取数据；根据获取到的数据进行统计分析，得到统计分析结果。本发明通过绝对的时间滑动窗口算法来实施，实时的对以绝对时间轴为基准的流量数据进行快速、高效的分类、统计，工作效率高，提高准确度，有效避免数据丢失、数据跨时间计算不准确、未来时间数据穿越的问题。

技术领域

本发明属于互联网技术领域，特别涉及一种基于绝对的时间滑动窗口的流量实时统计方法及引擎。

背景技术

随着互联网发展，大量的互联网用户通过各类媒体（微博、淘宝、互联网聊天软件等）产生了大量数据，这些数据在一些业务场景下，需要快速统计分析，才能产生有效的数据价值。尤其是在当前信息快速堆积快速迭代的前提下，当下的热点无时无刻不在变化，如果不能快速、精准的利用每一个时间点的数据，这些数据在经过一定的时间后，数据价值将大大降低，甚至会变为无用数据。

对于实时数据统计，目前已有一些技术可以进行分析、记录，但还会存在一些数据丢失、数据跨时间计算不准确、未来时间数据穿越的问题。

发明内容

为了至少解决上述技术问题，本发明提供了一种基于绝对的时间滑动窗口的流量实时统计方法及装置。

根据本发明第一方面，提供了一种基于绝对的时间滑动窗口的流量实时统计方法，包括：

对于要存储的数据，采用随机的跳跃链表结构进行存储；

基于跳跃链表结构，设置评分字段，为各节点建立关联；

基于任意时间窗口获取数据；

根据获取到的数据进行统计分析，得到统计分析结果。

进一步地，所述对于要存储的数据，采用随机的跳跃链表结构进行存储，包括，

在跳跃链表结构的最底层采用一个链式结构，每当有数据插入时，每一个插入节点会随机配置一个层数，每一层存储指向下一个拥有该层数节点的指针。

进一步地，所述引擎在执行查找操作的情形下，优先检索层数最高的节点，并通过二分查找法的原理，逐层向下检索，直到找到需要的数据。

进一步地，所述基于跳跃链表结构，设置评分字段，为各节点建立关联，包括：

在跳跃链表结构中，对每一个节点添加评分字段，使数据结构可以通过该字段作为排序的唯一标识；

对每一个节点添加每一个层级的前、后指针，以达到对任意两个节点都可以快速查找到节点中的全部数据。

进一步地，所述基于任意时间窗口获取数据，包括：

获取两个时间间隔相同的时间戳，作为一个时间窗口，不断的移动时间窗口，获取该时间窗口中所有时间节点的数据。

进一步地，所述方法还包括：基于时间戳的基础上，记录各个时间节点的数据，每次记录后计算最大最小时间节点，只留存预设时间窗口大小的数据节点。

进一步地，所述根据获取到的数据进行统计分析，得到统计分析结果，包括：

各节点根据对应的时间窗口数据，对各数据对应的ip衍生出若干个以ip为唯一标识的set集合，并将这一ip分类下的每一条数据以跳跃链表结构进行存储；

将每一条记录通过正则划分不同维度，具体可以根据标签的分类进行多维度划分，然后将这些维度的信息分别存储在多个新的跳跃链表中，节点记录每一个ip的每一个时间窗口的统计数据，最终输出包括所有统计数据的统计分析结果。