[发明专利]一种基于机器学习的多指标异常检测方法及其应用系统

权利要求书

1.一种基于机器学习的多指标异常检测方法，其特征在于，所述方法包括如下步骤：S101，准备数据集D,共有n条数据，d个维度；

S102，确定弱学习器的数量M，以及每个弱学习器所需要的训练样本的数量s；弱学习器的数量M由数据集D包含的数据量n和维度d确定；

S103，针对每个弱学习器进行数据训练及评分，最终得到每个弱学习器的评分结果；

S104，检测M个学习器最终评分，对数据集D中的每条数据在M个弱学习器评分进行求和平均，该方法定义为RSHash，其最终的评分分数计算方式如下：

其中，使用i表示任意一条数据信息，j表示任意一个弱学习器，Score^j(i)表示第j个弱学习器下第i条数据对应的评分分数；

S105，根据评分进行排序并确定异常点，通过对上述评分分数进行排序并获得评分最高的η％数据作为异常点；其中，η％为分位比，定义评分分数由大到小排序后第η％的评分分数为分位点，该分位点为异常判定的阈值，评分超过阈值的数据即为异常点；由数据集D经过上述步骤得到的M个弱学习器和异常阈值可以作为异常检测器，同类型的数据可直接通过所述M个弱学习器得到最终评分，通过与异常阈值进行比较判定异常。

2.如权利要求1所述的基于机器学习的多指标异常检测方法，其特征在于，所述s取值min{1000,n}，η％范围为1％～2％。

3.如权利要求1所述的基于机器学习的多指标异常检测方法，其特征在于，所述步骤S103包括：模型训练阶段和检测分数评价阶段。

4.如权利要求3所述的基于机器学习的多指标异常检测方法，其特征在于，所述模型训练阶段包括以下步骤：

S201，构建均匀分布并生成局部参数；根据训练样本的数量s构建均匀分布从此均匀分布中运用随机数生成方法随机生成一个整数作为局部参数f；此均匀分布在每次执行弱学习器时，自动测试不同大小样本生成局部参数f的边界；

S202，生成随机向量和偏置参数；根据步骤S201生成的局部参数f构建均匀分布Unif(0，f)，从此均匀分布中运用随机数生成方法随机生成d个随机数，形成一个d维随机向量α＝(α₁，α₂，...，α_d)，0＜α_i＜f，0≤i≤d，这个d维随机向量α为偏置参数，将同一维度的值映射到相同的范围；

S203，对于每个弱学习器随机选出子维度集合；根据步骤S201生成的局部参数构建均匀分布Unif(1+0.5*log_max(2，1/f)(s)，0.5*log_max(2，1/f)(s))，从此均匀分布中运用随机数生成方法随机生成一个整数r，并从数据集D中随机选R个维度的数据作为子维度集合V，R的值为min{r,d}；

S204，采样数据并构建训练集；从数据集D中随机采样s条数据，构建训练集S；

S205，对训练数据进行归一化操作；在全部d个维度中针对每个维度j，找到最大值max_j和最小值min_j；再对训练集S中的每条数据X_i＝(x_i1，x_i2，...，x_id)进行归一化计算：若max_j＝min_j，则删除该维度j；

S206，得到随机样本集；根据步骤S205得到的归一化后的数据X_i′＝(x_i1′，x_i2′，...，x_id′)构建映射数据Y_i＝(y_i1，y_i2，...，y_id)，将没有在子维度集合V中出现的维度赋值为-1，将包含在子维度集合V中的元素y_ij赋值为0≤i≤s，2≤j≤d，为向下取整函数，α_j为步骤S202所述偏置参数，f为步骤S201所述局部参数；

S207，数据训练过程模拟；构建初始化哈希表，哈希范围为(0,p)，哈希表的数量为w；

S208，得到训练结果；a.将每一条数据Y_i分别输入w个哈希表对应的w个哈希方程中得到w个计算结果：h₁(Y_i)，h₂(Y_i)，...，h_w(Y_i)，并在对应哈希表的位置累加1；b.对训练集S利用步骤S206处理后的s条数据通过上述a步骤更新后，得到w个训练完成的哈希表。