[发明专利]一种解决乱序事件和晚到数据的精准窗口处理方法

权利要求书

1.一种解决乱序事件和晚到数据的精准窗口处理方法，其特征在于，包括以下步骤：

(1)精准窗口的创建；用户定义精准窗口数据结构TW；精准窗口数据结构TW有两种类型，包括精准时间窗口TWT和精准计数窗口TWC；具体创建过程如下：

(1.1)每一个TW拥有一个原始数据序列ODS和一个磁盘后备序列BKS，TWT包含一个时间范围参数TWLEN，TWC包含一个计数总量参数TWCOUNT；TWLEN范围为当前时间到往前回溯TWLEN时长，TWCOUNT代表距离当前时间最近的计数长度为TWCOUNT的原始数据序列；

(1.2)ODS和BKS中的内容按数据序列达到的时间升序排序，同时给TWLEN或者TWCOUNT初始化；

(2)精准窗口的更新；当新的数据到来时，首先判断TW的类型，然后会按照以下的规则进行更新：

(2.1)如果TW的类型为TWT，则用当前时间减去TWLEN得到过期时限EXPIRE，将ODS序列中时间戳小于EXPIRE的数据加入磁盘后备序列BKS中，然后再判断新的数据的时间戳是否在EXPIRE和当前时间范围内，如果是则插入OBS序列并保持数据按时间升序排序，否则将其加入磁盘后备序列BKS；

(2.2)如果TW的类型为TWC，则需要计算当前ODS序列的长度LENGTH；如果当前ODS序列的长度LENGTH小于TWCOUNT，则直接将新的数据插入ODS序列，并使其保持按时间升序排序；如果当前ODS序列的长度LENGTH等于TWCOUNT，则先判断新的数据的时间戳，如果新的数据的时间戳大于ODS序列中最早时间戳，则把OBS序列中时间戳最早的一条数据插入到磁盘后备序列BKS中，然后将新的数据插入到ODS序列中，并保持按时间升序排序，如果新的数据的时间戳小于等于ODS序列中最早时间戳，此时新来的数据直接插入磁盘后备序列BKS中；

(3)精准窗口的查询；首先判别TW中的窗口类型，然后按照如下步骤进行查询：

(3.1)如果TW的类型为TWT，获取当前ODS序列头数据的时间戳，将序列头数据的时间戳减去TWLEN，得到过期时限EXPIRE，将ODS中所有时间戳晚于过期时限EXPIRE的数据序列保留作为查询结果返回给用户，然后将剩余的数据序列加入磁盘后备序列BKS；

(3.2)如果TW的类型为TWC，则直接返回OBS序列里的数据作为查询结果给用户。

2.根据权利要求1所述的一种解决乱序事件和晚到数据的精准窗口处理方法，其特征在于，步骤(1.2)中，用户根据TW指定创建的TWT或TWC，并根据具体的数据结构指定哪一种时间窗口来初始化原始数据序列ODS和磁盘后备队列BKS，默认初始化为空序列。

3.根据权利要求1所述的一种解决乱序事件和晚到数据的精准窗口处理方法，其特征在于，步骤(3.1)中，序列头数据是指序列中距离当前时间最近的数据。