[发明专利]异常数据检测方法、装置、电子设备及计算机存储介质

说明书

本发明实施例公开了一种异常数据检测方法、装置、电子设备及计算机存储介质，所述方法包括：获取预设时间段内的数据样本，并将所述数据样本分为不同类别的数据样本集；获取待检测数据，将所述待检测数据与所述数据样本集进行比较，确定疑似异常数据；对于所述疑似异常数据进行分段距离比较，将满足预设条件的疑似异常数据确定为异常数据。该技术方案能够突破检测方法对于算法要求前提的限制，实现异常数据的全面检测，提高异常数据检测的有效性的准确性，进而为后续未来数据的预测提供可靠的数据支持。

技术领域

本发明实施例涉及数据处理技术领域，具体涉及一种异常数据检测方法、装置、电子设备及计算机存储介质。

背景技术

随着数据技术的发展，数据的应用也越来越广泛。比如，在机器学习、人工智能等很多场景下，都需要借助对于历史数据的分析来预测未来的数据。显然，在该场景下，未来数据预测的准确性在很大程度上都依赖于历史数据的有效性，但实际上，并非所有的历史数据都是有效数据或者有用信息，有些数据点或者数据段可能是由于随机小概率事件的发生而引入的异常数据，这些异常数据势必会在一定程度上影响历史数据的有效性，进而为后续的数据预测引入异常因素，影响数据预测的准确性，因此需要将这些异常数据有效地检测出来。但目前大部分的异常数据检测方法仅实现了异常数据的单纯检测，并未考虑异常数据若存在在历史数据中将会对于预测结果产生多大的影响，而本申请发明人在发明创造的过程中发现，若异常数据对于预测结果影响程度不同，对于异常数据的处理方式也会有所不同。而且，目前的异常数据检测方法基本都是局限于一种单一模式的异常数据检测，在不符合其假定值或不满足其算法要求前提时是无法进行检测的，这就为异常数据的处理以及未来数据的预测带来极大的不便。

发明内容

本发明实施例提供一种异常数据检测方法、装置、电子设备及计算机存储介质。

第一方面，本发明实施例中提供了一种异常数据检测方法。

具体的，所述异常数据检测方法，包括：

获取预设时间段内的数据样本，并将所述数据样本分为不同类别的数据样本集；

获取待检测数据，将所述待检测数据与所述数据样本集进行比较，确定疑似异常数据；

对于所述疑似异常数据进行分段距离比较，将满足预设条件的疑似异常数据确定为异常数据。

结合第一方面，本发明实施例在第一方面的第一种实现方式中，所述获取预设时间段内的数据样本，并将所述数据样本分为不同类别的数据样本集，包括：

获取预设时间段内的数据样本；

根据所述数据样本之间的相似性对所述数据样本进行聚类处理，得到不同类别的数据样本集；

训练得到与所述不同类别数据样本集对应的数据回归模型，并提取所述不同类别数据样本集的数据基线。

结合第一方面和第一方面的第一种实现方式，本发明实施例在第一方面的第二种实现方式中，所述获取待检测数据，将所述待检测数据与所述数据样本集进行比较，确定疑似异常数据，包括：

获取待检测数据；

计算所述待检测数据与所述不同类别数据样本集数据基线之间的距离；

将与所述不同类别数据样本集数据基线之间的最小距离超过第一预设距离阈值的数据确定为疑似异常数据。

结合第一方面、第一方面的第一种实现方式和第一方面的第二种实现方式，本公开在第一方面的第三种实现方式中，所述对于所述疑似异常数据进行分段距离比较，将满足预设条件的疑似异常数据确定为异常数据，包括：

将所述疑似异常数据进行分段处理，得到两个或多个疑似异常数据段；

计算所述疑似异常数据段之间的距离，生成疑似异常数据段距离矩阵；