[发明专利]一种基于噪声阈值距离度量的离群点检测方法

说明书

本发明公开了一种基于噪声阈值距离度量的离群点检测方法，首先用prim算法计算出一个精确的最小生成树，然后对最小生成树中的边按照从小到大的顺序进行排序。计算出所有边的权重的平均值和标准方差，作为噪声阈值。选择最短边的端点作为迷你MST计算的起点。满足阈值条件后退出，形成一个簇，再循环计算剩下的点。本发明与其他的离群点检测算法进行对比，在合成数据集和真实数据集上都有较好的离群点检测结果。

技术领域

本发明属于数据挖掘技术领域，具体涉及一种基于噪声阈值距离度量的离群点检测方法。

背景技术

离群点检测在数据挖掘领域发挥着重大作用，可以广泛应用到各个领域。例如，将离群点检测技术应用到医学数据中，可以检测出发生异常的数据从而可以判断出一条医学数据是否正常。

离群点检测的方法可以按照不同的分类标准进行分类。根据对离群点与其余数据做出的假定，可以把离群点检测方法分为统计学方法，基于邻近性的方法和基于聚类的方法。基于邻近性的方法，即K Nearest Neighbors(KNN) 假定一个对象是离群点，如果它最近邻的点离它较远，显著偏离其他数据点和它们的最近邻。该方法能较好的发现基于距离的离群点，但是对于包含密度不同的簇的数据集的检测效果不是很好。为了解决这个问题，Breunig等人在2000年提出了一种基于局部离群因子的算法LOF(Local Outlier Factor),该方法能够较好的检测基于密度的离群点。为了检测高维数据中的离群点，有研究提出了基于角度的离群点检测方法ABOD(Angle-based Outlier Detection)，结合距离和角度对离群点建模，能够较好的应用到高维数据上，但是由于需要计算基于角度的离群因子，时间开销很大。

随后有研究提出用单类支持向量机的方法进行离群点检测，即OCSVM (One ClassSupport Vector Machine)，它是一种线性模型，可以将离群点看做一类，其他数据看做一类，实现对数据的分类。近年来，有学者用深度学习的方法进行离群点检测，比如2018年提出的一种基于生成式对抗性学习框架的非监督离群点检测方法，在该文章中，作者提出了两种方法，单目标生成式对抗性学习SOGAAL(Single-Objective Generative AdversarialActive Learning)和多目标生成式对抗性学习MO-GAAL(Multiple-Objective Gen-erative Adversarial Active Learning)，通过用生成器和辨别器对离群点进行判断检测。实验结果显示该方法能够较好的识别离群点，但是对于一些医学数据结果不是很好。

发明内容

本发明提供一种基于噪声阈值距离度量的离群点检测方法，以解决现有技术中对于医疗数据离群点检测不准确，效果不太好的问题，本发明与其他的离群点检测算法进行对比，在合成数据集和真实数据集上都有较好的离群点检测结果。

为达到上述目的，本发明采用如下技术方案：

一种基于噪声阈值距离度量的离群点检测方法，通过计算医学数据的最小生成树结构，进行聚类，从而实现检测出医学数据中的异常数据，具体方法为：首先设置一个迷你MST的数据结构，先用prim算法计算出一个精确的最小生成树，然后对最小生成树中的边的权重，即边的起点和终点之间的欧式距离，按照从小到大的顺序进行排序存放到边数组sorted_mst中，计算出所有边的权重的平均值和标准方差，将两者之和作为噪声阈值noise_th；由于最短边是密度最大的簇中的边，选择最短边的起点P作为迷你MST计算的起点加入迷你MST中，从P开始计算没有加入树中的点到树中点的距离，除以噪声阈值noise_th作为边的权重；