[发明专利]一种解决乱序事件和晚到数据的精准窗口处理方法

说明书

本发明公开了一种解决乱序事件和晚到数据的精准窗口处理方法。该方法采用精准窗口记录原始业务流水数据，可以通过时间窗口的长度和不同流水个数这两种方式，实现对乱序和晚到数据的更新以及业务流水数据的查询；本发明提供的解决乱序事件和晚到数据的精准窗口处理方法主要分为三个部分：精准窗口的创建、精准窗口的更新以及基于精准窗口对时序数据的查询。本发明提出的解决乱序事件和晚到数据的精准窗口处理方法可保留用户自定义的最近时间范围或者最近几笔的原始有序流水数据，并且实现数据的动态更新，同时也能达到毫秒级的查询延时。

技术领域

本发明涉及时序数据处理等数据分析领域，具体而言，涉及一种解决乱序事件和晚到数据的精准窗口处理方法，提供一种数据处理及存储方法，使得可以通过设置时间范围的和最近几笔交易流水数，对原始流水数据进行查询和动态更新。

背景技术

基于时间窗口查询是时序数据数据分析领域的一个重要分支，通过对大量数据在时间维度上划分，实现毫秒级别的交互查询，帮助用户挖掘数据特征、了解业务状况、总结业务规律。在金融、电信、交通、电商、营销等领域都有重要的应用价值。例如在交通领域或者是电信领域，经常会涉及如“某量车过去1个月的经过某个路口的总次数”、“某人过去1周的通话总时长”等相关流式聚合计算问题。由于时间会一直向前推进，也会有更多的流水数据进入系统，因此在“过去1个月”、“过去1周”等这类限制下的计算需要考虑时间在持续推进，从而需要对时间进行切片，然后对每个切片的流水进行聚合计算。

目前对于时间切片的处理技术主要分为三类：滚动窗口：每个时间切片长度是固定的，且彼此相邻但不重叠；滑动窗口：需要指定滑动步长和切片长度，时间切片的起始点会以固定的滑动步长向前推进，而时间切片的长度也是固定的；会话窗口：根据会话间隔对时间进行切片，当一个切片在大于会话间隔的时间内没有接收到新数据，切片将会关闭，因此该类切片的长度是可变的。

这类时间切片的技术都有一类共同点。虽然可以通过对时间进行切片，然后对每个切片流水进行聚合计算，在每一个切片内达到毫秒级的查询时延。但是如果需要查询某时间段内的原始流水数据而不是聚合数据，或者是原始数据序列由于网络延时等原因导致乱序，上述时间切片方式就没法实现。假设一个场景，该场景需要计算“过去一段时间的某人每两笔交易之间的变化率”的指标，同时将其可视化。由于网络延迟等原因，原始数据序列可能是乱序的。显然上述的时间切片技术没法做到，因为时间切片内统计是切片内所有数据的聚合量，包括总和，平均值，最大最小值等，而且必须保证时间切片内的数据序列是有序的，一旦查询的指标涉及时间段内的每一条原始流水数据或者原始序列中有乱序和晚到数据，这类方法就失效。在现实场景中，存在大量类似问题。

综上所述，传统的时间窗口查询技术无法同时满足下面的要求：

1)解决乱序事件和晚到数据；

2)提供时间窗口内原始数据指标计算和查询；

3)在2)的基础上，提供毫秒级的查询延时。

发明内容

本发明目的在于针对传统时间窗口数据处理方式产生的问题，本发明提出了一种解决乱序事件和晚到数据的精准窗口处理方法，实现了在海量时序数据下对乱序和晚到数据的更新以及业务流水数据的查询，并且节省存储空间，同时提供毫秒级查询延时。

本发明的目的是通过以下技术方案来实现的：一种解决乱序事件和晚到数据的精准窗口处理方法，包括以下步骤：

(1)精准窗口的创建；用户定义精准窗口数据结构TW。精准窗口数据结构TW有两种类型，包括精准时间窗口TWT和精准计数窗口TWC。具体创建过程如下：

(1.1)每一个TW拥有一个原始数据序列ODS和一个磁盘后备序列BKS，TWT包含一个时间范围参数TWLEN，TWC包含一个计数总量参数TWCOUNT。

(1.2)ODS和BKS中的内容按数据序列达到的时间升序排序，同时给TWLEN或者TWCOUNT初始化。