[发明专利]异常数据检测方法及装置

说明书

本发明提供了一种异常数据检测方法及装置，该方法应用于数据处理技术领域，所述方法包括：获取待处理数据；基于聚类算法确定所述待处理数据的离群点候选集；计算所述离群点候选集中各个离群点的离群点因子；若某一离群点的离群点因子大于预设阈值，则确定该离群点为异常数据。本发明提供的异常数据检测方法及装置能够实现待处理数据异常值的准确检测。

技术领域

本发明属于数据处理技术领域，更具体地说，是涉及一种异常数据检测方法及装置。

背景技术

在现实中,由于人为错误或自然错误会导致产生数据异常值，在多数据源的环境下，出现数据异常并产生数据冲突的概率大大增加。如何处理这些异常值便是数据清洗所面临的一个重要课题。

在数据处理中，尤其在作函数拟合时，异常点的出现不仅会很大程度的改变函数拟合的效果，而且有时还会使得函数的梯度出现奇异梯度，很容易导致算法的终止，从而影响研究变量之间的函数关系。为了有效的避免这些异常点造成的损失，我们需要采取一定的方法对其进行处理。但现有技术中的异常检测方法通常为一次检测，因而无法准确地检测异常数据。

发明内容

本发明的目的在于提供一种异常数据检测方法及装置，以解决现有技术中存在的无法准确检测异常数据的技术问题。

本发明实施例的第一方面，提供了一种异常数据检测方法，所述方法包括：

获取待处理数据；

基于聚类算法确定所述待处理数据的离群点候选集；

计算所述离群点候选集中各个离群点的离群点因子；

若某一离群点的离群点因子大于预设阈值，则确定该离群点为异常数据。

本发明实施例的第二方面，提供了一种异常数据检测装置，所述装置包括：

数据获取模块，用于获取待处理数据；

聚类模块，用于基于聚类算法确定所述待处理数据的离群点候选集；

计算模块，用于计算所述离群点候选集中各个离群点的离群点因子；

检测模块，用于若某一离群点的离群点因子大于预设阈值，则确定该离群点为异常数据。

本发明实施例的第三方面，提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的异常数据检测方法的步骤。

本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的异常数据检测方法的步骤。

本发明提供的异常数据检测方法及装置的有益效果在于：本发明提供的异常数据检测方法及装置根据聚类算法对待处理数据进行聚类，首先确定离群点候选集，提高了离群因子的计算效率。再通过离群因子的计算有效地检测出离群点候选集中的异常数据，从而有效提高了异常数据的检测精度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的异常数据检测方法的流程示意图；

图2为本发明另一实施例提供的异常数据检测方法的流程示意图；

图3为本发明再一实施例提供的异常数据检测方法的流程示意图；

图4为本发明又一实施例提供的异常数据检测方法的流程示意图；