[发明专利]一种基于机器学习的单个指标异常点自动判断系统

说明书

本发明公开了一种基于机器学习的单个指标异常点自动判断系统，包括如下步骤：步骤1：从训练数据中随机选择N个样本点作为子采样，放入树的根节点；步骤2：随机指定一个数据维度做投影，在当前节点数据中随机产生一个切割点p，切割点产生于当前节点数据中指定维度的最大值和最小值之间。本发明通过优化传统的数据分析线性模型函数和回归模型函数，并在算法中构建计算机神经网络，将多个感知器参数放在一个多层网络中去进行学习与训练，采用主成分分析的思路，找出违反数据相关性的异常点数据，具有泛化能力强、训练样本少、判断误差小的优点。

技术领域

本发明涉及电力系统异常数据挖掘相关技术领域，具体为一种基于机器学习的单个指标异常点自动判断系统。

背景技术

随着科学技术和社会的发展，企业和科研机构在各个领域积累的数据越来越多，增长也越来越快，各行各业都面临着信息大数据带来的机遇和挑战，电力系统的数据来源广泛，其中有大量的结构化数据，如：告警数据、计量数据等，同时又有大量的非结构化数据，如：气象数据，操作票数据等；在电力系统日常设备运行维护工作中，异常数据检测是一项具有重要意义的技术，利用有效的异常数据检测判断手段，可以对设备运行的异常状态进行监测，发现异常数据中的潜在信息，识别和消除设备故障的隐患，帮助设备运行维护人员及时发现设备缺陷及隐患，提前制定设备状态检修计划，保证设备的稳定运行。

现阶段对于设备的异常数据的挖掘方法是基于概率统计模型函数进行检测和判断的，这种方法需要标准数据集是符合某种概率分布的集合，并使用高斯混合模型函数去拟合实际的数据，然后计算数据与这个模型函数的偏差来判断数据是否异常。这种方法，虽然利用了数学概念中的标准统计学方法和公式，得到的结果更为精确，但对数据的假设过于简化，因为实际情况是往往无法知道数据集所遵循的标准分布类型，并且或许数据本身就不是服从任何的标准分布，因此，基于概率统计模型的异常数据检测判断方法具有很大的局限，需要进行改进。

发明内容

本发明的目的在于提供一种基于机器学习的单个指标异常点自动判断系统，以解决上述背景技术中提到的基于概率统计模型函数进行检测和判断异常数据的方法，虽然利用了数学概念中的标准统计学方法和公式，得到的结果更为精确，但对数据的假设过于简化，因为实际情况是往往无法知道数据集所遵循的标准分布类型，并且或许数据本身就不是服从任何的标准分布，基于概率统计模型的异常数据检测判断方法具有很大的局限的问题。

为实现上述目的，本发明提供如下技术方案：一种基于机器学习的单个指标异常点自动判断系统，包括如下步骤：

步骤1：从训练数据中随机选择N个样本点作为子采样，放入树的根节点；

步骤2：随机指定一个数据维度做投影，在当前节点数据中随机产生一个切割点p，切割点产生于当前节点数据中指定维度的最大值和最小值之间；

步骤3：以此切割点生成了一个超平面，然后将当前节点数据空间划分为2个子空间：把指定维度里小于p的数据放在当前节点的左子节点，把大于等于p的数据放在当前节点的右子节点；

步骤4：在子节点中递归步骤2和3，不断构造新的子节点，直到子节点中只有一个数据或子节点已到达限定高度；

步骤5：对于一个训练数据x，使其遍历每一个子节点，然后计算x最终落在每个子节点第几层，即x在子节点中的高度；然后可以得出x在每个子节点的高度平均值；获得每个测试数据的高度平均值后，设置一个阈值，高度平均值低于此阈值的测试数据即为异常数据。

优选的，步骤4中，获得t个子节点之后，计算机神经网络对于数据集合的训练就结束，然后可以用生成的算法模型来评估测试数据中的异常数据点了。

优选的，步骤5中，根据单个指标异常点自动判断算法的基本架构如下：设置D是一个d维的数据集合，其中有N个样本，数据集的协方差矩阵是Σ，其协方差矩阵可以对角化进行计算：∑＝PΔP^T；