[发明专利]基于低水位滑动时间窗口的离群数据发现方法及系统

说明书

本发明公开了基于低水位滑动时间窗口的离群数据发现方法及系统；包括：数据分发：接收外部数据流，然后将外部数据流分发给各个数据处理节点；数据处理：数据处理节点对接收到的外部数据流进行处理；定义低水位滑动时间窗口，以时间戳为水平坐标轴，随着时间推移，低水位滑动时间窗口在时间戳水平坐标轴上从左往右不断移动，在任意时间点，低水位滑动时间窗口水平坐标轴上方为未处理数据，水平坐标轴下方为已处理数据；然后根据当前数据处理时间戳在低水位滑动时间窗口范围内的位置来发现当前数据处理是否为离群数据；数据聚合：将数据处理的结果进行汇总进行输出。区分可丢弃数据、离群数据与正常待处理数据，提高数据处理可靠性，加速故障恢复。

技术领域

本发明涉及一种离群数据发现方法，尤其涉及基于低水位滑动时间窗口的离群数据发现方法及系统。

背景技术

流处理是对不断变化的数据流进行实时计算。为了应对用户对海量数据的即时处理带来的挑战，解决传统MapReduce为代表的批处理方式在实时处理的瓶颈问题，新兴的流处理方法，在风险管理、营销管理、广告投放、社会化推荐等方面均具有重要的应用价值。

流处理的数据来源由于网络延迟、系统内在并发等原因，同类数据不能保证严格按照时间戳顺序到达数据处理节点，出现数据产生与到达数据处理节点先后不一致的离群数据。大量离群数据，其处理速度慢，对数据处理故障判定产生干扰，增大流处理故障误判概率。

现有技术主要通过日志、热复制、上游备份等方法实现容错，均未讨论离群数据。日志和热复制容错方法使用同步协议增量复制，因此大量离群数据会严重拖垮复制过程；上游备份容错方法会将离群数据当作故障处理，将会启动错误的故障恢复。

现有技术D-Stream采用并行恢复方法发现离群数据，采用推测执行进行故障恢复，其依赖于批处理数据分析堆栈。现有技术给出了一种乱序到达处理方法，通过标点符号和心跳机制等显式方法将乱序数据有序化。现有技术MillWheel系统在此原理基础上提出了低水位概念表示待处理数据的底限，当时间戳小于低水位的数据到达数据处理时，会被直接丢弃。该方法给出了丢失数据的判定方法，但未给出离群数据的判定方法，仅仅用时间点表示低水位无法严格区分离群数据。现有技术Trident通过待处理数据严格有序需求避免产生离群数据，该方法依赖于事务框架，产生大量额外的开销。

发明内容

本发明的目的就是为了解决上述问题，提供基于低水位滑动时间窗口的离群数据发现方法及系统，有效区分可丢弃数据、离群数据与正常待处理数据，提高数据处理可靠性，加速故障恢复。

为了实现上述目的，本发明采用如下技术方案：

基于低水位滑动时间窗口的离群数据发现方法，包括：

步骤(1)：数据分发：接收外部数据流，然后将外部数据流分发给各个数据处理节点；

步骤(2)：数据处理：数据处理节点对接收到的外部数据流进行处理；

定义低水位滑动时间窗口，低水位滑动时间窗口的时间戳起始于低水位初值，低水位滑动时间窗口的宽度为w；低水位滑动时间窗口的时间戳范围为[低水位初值,低水位初值+低水位滑动时间窗口的宽度w]；

以时间戳为水平坐标轴，随着时间推移，低水位滑动时间窗口在时间戳水平坐标轴上从左往右不断移动，在任意时间点，低水位滑动时间窗口水平坐标轴上方为未处理数据，水平坐标轴下方为已处理数据；然后根据当前数据处理时间戳在低水位滑动时间窗口范围内的位置来发现当前数据处理是否为离群数据；

步骤(3)：数据聚合：将数据处理的结果进行汇总进行输出。

步骤(2)中来自不同关键词的数据流能够并发在不同的数据处理节点上进行处理。