[发明专利]结合密度感知和检测难度的主动异常检测方法及系统

说明书

本发明提供了一种结合密度感知和检测难度的主动异常检测方法及系统，方案包括：采用基于随机二分树的异常检测模型，支持快速的增量更新；根据叶子节点区域的密度变化和检测难度计算查询概率分数，选择对于当前模型最有价值的数据样本；利用专家标记样本对叶子节点的区域密度和权重进行更新，有效利用专家提供的领域知识。本方案能够将专家领域知识与异常检测模型相结合，提升模型的实际应用性能。

技术领域

本发明涉及机器学习领域及异常数据处理领域，尤其涉及面向数据流环境时，结合密度感知和检测难度的主动异常检测方法及系统。

背景技术

在数据流处理领域中，主动异常检测旨在尽量节省人工判定成本的前提下，将专家领域知识与异常检测模型相结合，从而提升模型的实际应用性能。如图1所示，在数据流环境下，数据样本源源不断到达，当新的数据样本到达后，首先经由异常检测模型进行异常评分，然后根据样本特点，由查询策略确定是否提供给专家进行判定。待查询样本经专家判定后，返回至异常检测模型进行实时增量更新。在保证异常检测性能的前提下，该过程需尽量少地选择样本给专家判定以降低人工判定成本。

主动异常检测需要解决两个方面的关键问题：

(1)查询策略的制定。数据流环境下，数据分布会随时间发生变化，查询策略需要及时适应数据的变化，准确选取有价值的异常数据。现有方法多是选取当前模型输出异常得分最高的数据作为查询数据来更新模型，这类方法存在两个方面的问题：1)没有考虑到实时数据的变化对模型造成的影响，当前模型可能不再适用于新到达的数据；2)异常分数最高的样本并不一定能为模型增量更新带来最高的性能提升。

(2)异常检测模型的增量更新。主动在线异常检测环境中，能够查询的样本数量较少且数据流中异常比例低，很难选取到有效的异常数据，直接通过查询数据对模型进行增量更新难免会出现偏差，难以学习到异常数据的分布特点。现有方法多是采用历史累计所有查询数据来模型重新训练，这类方法会导致较高计算开销和存储开销。

发明内容

鉴于现有技术中存在的上述问题，针对数据流处理，本发明提供了一种结合密度感知和检测难度的主动异常检测方法及系统，具体而言，本发明提供了以下技术方案：

一方面，本发明提供了一种结合密度感知和检测难度的主动异常检测方法，所述方法包括：

S1、基于数据流初始阶段积累的数据S，构建异常检测模型；

S2、基于数据样本的动态变化和检测难度，计算数据样本的查询概率得分；在每一批次的数据样本中，选择查询概率得分最高的预设百分比的数据样本，进行专家判定；

S3、当前批次数据样本到达后，对所述异常检测模型进行更新，所述更新包括密度矩阵更新、权重矩阵更新，所述权重矩阵更新，至少部分地基于专家判定的返回标记样本；

S4、所述异常检测模型更新后，至少部分地基于更新后的密度矩阵、权重矩阵，利用异常检测模型计算数据样本的异常得分；并返回S2，进入下一批次数据样本的检测。

优选的，所述S1中，异常检测模型采用二分随机树构建二分森林模型，具体方式为：

S101、初始化根节点root(None,None,None,|S|)，将S指定至节点root，当前层数设置为1；

S102、遍历当前层每一个节点，采用随机不放回方式选取一个特征f，基于特征f的取值中值mean(f)，将节点绑定样本集V划分为两个子集V＝V₁ UV₂，从而生成两个子节点node1、node2；

S103、将当前层数递增1，判断是否到达预设高度，如果到达，则构建结束，否则返回S102。

优选的，每棵树中节点属性设置为四元组：特征、取值上限、取值下限、样本数目。