[发明专利]基于低水位滑动时间窗口的离群数据发现方法及系统

权利要求书

1.基于低水位滑动时间窗口的离群数据发现方法，其特征是，包括：

步骤(1)：数据分发：接收外部数据流，然后将外部数据流分发给各个数据处理节点；

步骤(2)：数据处理：数据处理节点对接收到的外部数据流进行处理；

定义低水位滑动时间窗口，低水位滑动时间窗口的时间戳起始于低水位初值，低水位滑动时间窗口的宽度为w；低水位滑动时间窗口的时间戳范围为[低水位初值,低水位初值+低水位滑动时间窗口的宽度w]；

所述低水位滑动时间窗口大小w是根据数据处理能容忍的最大数据延迟达到时间来设定的；

以时间戳为水平坐标轴，随着时间推移，低水位滑动时间窗口在时间戳水平坐标轴上从左往右不断移动，在任意时间点，低水位滑动时间窗口水平坐标轴上方为未处理数据，水平坐标轴下方为已处理数据；然后根据当前数据处理时间戳在低水位滑动时间窗口范围内的位置来发现当前数据处理是否为离群数据；

根据当前数据处理时间戳在低水位滑动时间窗口范围内的位置来发现当前数据处理是否为离群数据的步骤为：

如果当前数据处理时间戳在[低水位,低水位+滑动时间窗口宽度/2)范围，则未处理数据包为离群数据；

如果当前数据处理时间戳在[低水位+滑动时间窗口宽度/2，低水位+滑动时间窗口宽度]范围，则未处理数据包为正常待处理数据；

如果当前数据处理时间戳小于低水位，则未处理数据为可丢弃数据；

步骤(3)：数据聚合：将数据处理的结果进行汇总进行输出。

2.如权利要求1所述的基于低水位滑动时间窗口的离群数据发现方法，其特征是，

步骤(2)中来自不同关键词的数据流能够并发在不同的数据处理节点上进行处理。

3.如权利要求1所述的基于低水位滑动时间窗口的离群数据发现方法，其特征是，

所述低水位初值的获取步骤为：标识当前数据处理中最早的未被处理的数据包的时间戳为当前数据处理的低水位；标识当前数据处理的上游数据处理中最早的未被处理的数据包的时间戳为上游数据处理的低水位；然后比较当前数据处理的低水位与当前数据处理的上游数据处理的低水位二者的大小，将小的低水位作为当前数据处理的低水位，然后，沿流处理网络拓扑追溯上游数据处理，最终通过递归，找到整个流处理网络的最早未处理数据，并以整个流处理网络的最早未处理数据时间戳作为低水位初值。

4.基于低水位滑动时间窗口的离群数据发现系统，其特征是，包括：

数据分发模块：接收外部数据流，然后将外部数据流分发给各个数据处理节点；

数据处理模块：数据处理节点对接收到的外部数据流进行处理；

定义低水位滑动时间窗口，低水位滑动时间窗口的时间戳起始于低水位初值，低水位滑动时间窗口的宽度为w；低水位滑动时间窗口的时间戳范围为[低水位初值,低水位初值+低水位滑动时间窗口的宽度w]；

所述低水位滑动时间窗口大小w是根据数据处理能容忍的最大数据延迟达到时间来设定的；

以时间戳为水平坐标轴，随着时间推移，低水位滑动时间窗口在时间戳水平坐标轴上从左往右不断移动，在任意时间点，低水位滑动时间窗口水平坐标轴上方为未处理数据，水平坐标轴下方为已处理数据；然后根据当前数据处理时间戳在低水位滑动时间窗口范围内的位置来发现当前数据处理是否为离群数据；

根据当前数据处理时间戳在低水位滑动时间窗口范围内的位置来发现当前数据处理是否为离群数据的步骤为：

如果当前数据处理时间戳在[低水位,低水位+滑动时间窗口宽度/2)范围，则未处理数据包为离群数据；

如果当前数据处理时间戳在[低水位+滑动时间窗口宽度/2，低水位+滑动时间窗口宽度]范围，则未处理数据包为正常待处理数据；

如果当前数据处理时间戳小于低水位，则未处理数据为可丢弃数据；

数据聚合模块：将数据处理的结果进行汇总进行输出。

5.如权利要求4所述的基于低水位滑动时间窗口的离群数据发现系统，其特征是，

数据处理模块中来自不同关键词的数据流能够并发在不同的数据处理节点上进行处理。

6.如权利要求4所述的基于低水位滑动时间窗口的离群数据发现系统，其特征是，

所述低水位初值的获取步骤为：标识当前数据处理中最早的未被处理的数据包的时间戳为当前数据处理的低水位；标识当前数据处理的上游数据处理中最早的未被处理的数据包的时间戳为上游数据处理的低水位；然后比较当前数据处理的低水位与当前数据处理的上游数据处理的低水位二者的大小，将小的低水位作为当前数据处理的低水位，然后，沿流处理网络拓扑追溯上游数据处理，最终通过递归，找到整个流处理网络的最早未处理数据，并以整个流处理网络的最早未处理数据时间戳作为低水位初值。