[发明专利]一种面向水文传感器流数据的异常检测方法

权利要求书

1. 一种面向水文传感器流数据的异常检测方法，其特征在于，在实施异常检测之前首先接收传感器时间序列数据，经过数据清洗后通过Kafka模拟真实情况下传感器数据的传输方式，将数据读入Apache Flink平台，首先对Kafka队列内数据进行反序列化，而后通过Flink提供的水印机制保证消费过程中的数据一致性，最后进行自回归-孤立森林联合模型的异常检测；

所述自回归-孤立森林联合模型的异常检测是指，使用自回归预测模型对传感器数据进行预测，通过预测结果与观测值之间的差异程度来决定是否要进入孤立森林检测模型；

通过Kafka模拟真实情况下传感器数据的传输方式，将数据读入Apache Flink平台，包括如下实现步骤：

步骤11：选用具有相同规格的三台云服务器构成集群，配置标准不得低于Kafka和Flink能够运行的最低配置；

步骤12：在三台云服务器上分别安装Kafka程序，一台服务器为Kafka主机，两台服务器为Kafka从机；

步骤13：将流式计算平台Flink分别安装至三台云服务器，配置Flink执行环境为一台主机负责消息处理和计算任务，两台从机负责计算任务；

步骤14：基于Kafka，实现对不同Flink节点的连接和传感器数据发送，传感器数据发送是指通过Kafka向各个Flink节点插入数据；

异常检测，包括以下步骤：

（1）在窗口初始化时生成列表用来存储将到达的窗口内的可能被判定为异常的对象；

（2）在窗口内数据连续到达时，执行add函数；add函数内首先使用自回归模型对数据进行单值预测，得到预测值，单值预测，非序列预测，保证预测精度；预测完成后，删除列表首元素并将当前观测值加入自回归模型的训练集；

（3）抽取数据特征，根据流中待检测水位值提取出三维特征数据，三维特征包括当前观测到的水位值，与当前观测到的水位值相邻的前后的观测水位均值，以及水位序列的一阶差分；

（4）根据步骤（2）中预测值生成置信区间，置信区间参数可调；

（5）判断观测值是否处于置信区间内，如果不在置信区间内，将其添加到步骤（1）生成的可疑列表中；

（6）窗口内元素收集结束时，触发getResult函数的执行。

2.根据权利要求1所述的面向水文传感器流数据的异常检测方法，其特征在于，基于Kafka，实现对不同Flink节点的连接和传感器数据发送，包括步骤如下：

输入：传感器数据，Kafka主题，Kafka分区，Flink连接信息；

输出：Kafka流数据；

步骤141：判断Flink节点类型，并按照集群内网IP地址与端口信息与节点进行连接；

步骤142：当与Flink连接已确认时，从待检测传感器数据中读取数据并初始化，而后按照规定格式输出，即作为生产者生产的待检测传感器数据；

步骤143：首先判断Kafka主题数是否为空；当其不空时，判断主题中分区数；当分区数不为空，并且所需分区数不超过Kafka中的默认分区数量，则将生产的待检测传感器数据按照键值计算分配到不同分区；若暂时不存在Kafka消费者，则将生产的待检测传感器数据临时缓存在Kafka中；待某时刻存在Kafka消费者，则通过Kafka消费者一端的逻辑将生产的待检测传感器数据拆分，以流的形式输出。

3.根据权利要求1所述的面向水文传感器流数据的异常检测方法，其特征在于，对Kafka队列内数据进行反序列化是指：Flink作为消费者，通过Flink提供的水印机制保证消费过程中的数据一致性；检测由Kafka队列生产出的待检测传感器数据的异常值，其中包括设置程序并行度，创建输入格式并设置时间戳水印，以及按不同需求设置计数和计时窗口。