[发明专利]一种基于测地线距离的异常点检测方法

说明书

本发明涉及一种基于测地线距离的异常点检测方法，其包括：输入数据集X；针对数据集X构建邻接图G，利用Dijkstra算法创建测地距离矩阵；针对各样本点计算测地距离η_i以及各点的度deg(x_i)；计算平均测地距离设定阈值τ，计算样本点的实际度Rdeg(x_i)；判断特殊点和异常点。本发明提高了异常点检测的性能，更好的反应了数据集的结构特征，且可同时检测到异常点和边缘点。此外，本发明的方法受数据分布和数据维度影响较弱，在实际应用中适用范围更广，解决了现有技术对异常点的检测精度不高和对高维数据检测性能不佳的缺陷。

技术领域

本发明属于数据挖掘领域，尤其涉及一种基于测地线距离的异常点检测方法。

背景技术

在识别异常点的过程中异常值检测是一项最重要的任务，由于异常点分布不均衡等原因，传统的异常点检测方法会导致不准确甚至错误的识别结果。异常值检测技术能够有效的提高异常点检测的性能。传统的异常点检测技术主要是聚类、分类以及模式识别，这些传统的技术是找到一种通用模式来识别数据中有意义的模式，而异常点检测技术只需要识别出异常点和边界点，而不需要识别出正常点。例如，在一个检测生命紊乱的系统中，把正常的人看作正常点，把生命特征紊乱的病人看作异常点，把生命危险的病人看作边界点，这样此系统就可以帮助观察病人的生命特征情况，特别是针对和异常点、边界点生命特征相符合的病人重点观察。异常值检测比正常模式检测更重要。

现有的技术方案主要包括：利用统计学来研究异常点数据和基于距离的检测方法。

利用统计学来研究异常点数据是一种比较早使用的方法，通过分析数据的分布情况及离散程度来识别异常点，此方法通常需要一些数据特征变化的指标来判断是否是异常点。目前常用的指标有均差、标准差及特征变化指标，变化指标越大则表示该数据集变化较大，离散程度强；变化指标值越小，则说明该数据变化较小，较密集分布。然而，基于统计的方法有一个严重的缺陷，使用该方法检测出来的异常点也可以使用其它多种方法检测出来，这会产生多义性，也就是说产生这些异常点的原理不一样；除此之外，使用统计方法类检测异常点很大程度上需要依赖于数据点的分布是趋近于某种数学分布，这对检测的准确性有很重要的意义。

基于距离的异常点检测是近几年来比较受欢迎的技术之一，该技术是对于两个给定的点之间计算欧式距离。然而单纯的计算欧式距离并不能有效、准确地识别所有异常点。根据检测方法是否需要标签，可以把检测方法分为监督式、半监督式及无监督式，其中无监督式是最具有挑战性的一种方法，因为缺乏有效的标签训练，并且再加上数据分布的不平衡性，就更加剧了检测结果的不准确性。针对此问题，传统的解决方式是局部异常值模式，但此方法也会因数据分布的不平衡性导致检测结果的不稳定性以及不准确性。

综上，现有的异常点检测算法在特定条件或特定领域下效果较好，或者对较低维空间的异常点检测效果较好，当数据的维度较高，这些算法的效果并不理想，泛化能力较弱。目前高维空间的异常点检测研究还处于起步阶段。例如，Kriegel提出了基于角度的异常点检测算法(ABOD)，该算法不依赖于参数选择问题。然而，ABOD算法仅考虑当前点与邻居的关系，而没考虑其邻居之间的更多关系，导致该算法识别到错误的异常点。因此，对于高维空间中的异常点检测算法还有待更加深入的研究。因此，如何进一步提高异常点检测精度和效率成为目前数据挖掘领域需要解决的技术问题。

发明内容

针对现有技术之不足，本发明提出了一种基于测地线距离的异常点检测方法，其包括以下步骤：

S1)输入数据集X∈R^m×n，其中X表示m×n的数据矩阵，数据样本x_i∈R^m,i∈{1,2,…n}，m表示数据样本维度，n表示数据集X的样本个数；

S2)针对数据集X构建邻接图G，利用Dijkstra算法创建测地距离矩阵D∈R^n×n，d_ij为其元素；