[发明专利]一种异常检测训练集的构建方法及装置

说明书

技术领域

本申请涉及异常检测技术领域，尤其是一种异常检测训练集的构建方法及装置。

背景技术

异常检测，是对某个事务活动中产生的大量数据进行检测以确定其中的异常数据，所述异常数据被称为异常点。异常点具有不符合正常数据的分布特征或表现模式，通过分析异常点可以获知事务活动的安全状态，例如：信贷事务中的异常点可能代表一项信贷欺诈，网络通信中的异常点可能代表黑客对电脑的攻击。异常检测的主要方式是，利用预先构建的训练集，使用异常检测算法对所述大量数据进行检测。因此，训练集是所述异常检测方式的基础。

发明人通过研究发现，现有的训练集构建方式为：获得多个样本数据，所述各个样本数据可能为异常点，也可能为正常点，利用现有检测算法如无监督异常点检测算法计算各个样本数据是异常点的概率，依据所述概率的大小，对所述各个样本数据进行排序后生成样本数据集合。依次获取所述样本数据集合中的样本数据，人工标注所述各个样本数据是正常点或异常点，当标注的样本数据中异常点达到预设的数量时，停止所述构建过程。

所述构建方式中单次计算样本数据的异常点概率，计算的异常点概率正确率较低，对样本数据进行标注的次数较多，导致训练集的构建效率较低。

发明内容

有鉴于此，本申请提供了一种异常检测训练集的构建方法及装置，以解决现有构建方式中单次计算样本数据的异常点概率，计算的异常点概率正确率较低，对样本数据进行标注的次数较多，导致训练集的构建效率较低的问题。本申请的技术方案如下：

一种异常检测训练集的构建方法，包括：

获取样本数据集合，并将所述获取到的样本数据集合确定为当前数据集合；

获取各个当前标注指令；

依据获取到的所述各个当前标注指令，在所述当前数据集合中获取与所述各个当前标注指令相对应的已标注数据，将所述已标注数据加入第一数据集合，将所述当前数据集合中的未标注数据组成第二数据集合；其中，所述已标注数据包括正常点数据或异常点数据；

判断所述第一数据集合中异常点数据的个数是否达到预设数值；

若是，依据所述第一数据集合中的已标记数据和所述第二数据集合中的未标记数据，生成训练集；

若否，依据所述第一数据集合，计算所述第二数据集合中的未标注数据的异常点概率，依据所述异常点概率，对所述第二数据集合中的未标注数据进行排序，将排序后的第二数据集合确定为当前数据集合，返回执行所述获取各个当前标注指令。

优选的，所述依据获取到的所述各个当前标注指令，在所述当前数据集合中获取与所述各个当前标注指令相对应的已标注数据，将所述已标注数据加入第一数据集合，将所述当前数据集合中的未标注数据组成第二数据集合，包括：

解析获取到的所述各个标注指令，获得与所述各个标注指令相对应的标注；

依据标注指令与数据间的对应关系，为所述各个数据添加相对应的标注；其中，所述各个数据是在所述当前数据集合中获取的；

将所述各个添加标注的数据确定为已标注数据，并将所述已标注数据加入第一数据集合；其中，所述已标注数据包括正常点数据或异常点数据；

将所述当前数据集合中的未标注数据组成第二数据集合。

优选的，正常点的标注为1，异常点的标注为0，则：

所述依据所述第一数据集合，计算所述第二数据集合中的未标注数据的异常点概率，包括：

将所述样本数据集合表示为X={x₁,x₂,...x_n}，将第一数据集合表示为L={x₁,x₂,...x_l}，将第二数据集合表示为U={x_l+1,x_l+2,...x_n}；

依据所述第一数据集合中各个数据的标注生成标注集合F={u₁,u₂,...u_l}；其中，所述ui为1或0；