[发明专利]时序数据容量预测方法、装置、电子设备及存储介质

说明书

本发明涉及计算机技术领域，公开了一种时序数据容量预测方法、装置、电子设备及存储介质，所述方法包括：对时序数据进行预处理；所述预处理至少包括异常点剔除、指标缺失段长度判断与指标缺失段修复其中的一种；提取时序数据的特征并判断所述时序数据是否具有周期性特征，输出包括未来节假日效应的预测结果，并与时序数据容量阈值进行比较，若超过所述时序数据阈值则产生警告；若所述时序数据不具有周期性特征：将预处理后的时序数据分割为多个连续的正常段并将多个连续的正常段划分为多个连续的特征段；在多个连续的特征段中找到与最尾部的若干个连续的特征段特征匹配的另外若干个连续段，以此另外若干个连续段对时序数据容量进行预测。本发明能够自动判断时序数据的类型，根据不同类型的时序采用不同的模型，并且能够有相对较快的运行速度。

技术领域

本发明涉及计算机技术领域，更具体地说，涉及一种时序数据容量预测方法、装置、电子设备及存储介质。

背景技术

随着计算机和互联网技术的发展，网上业务带来了极大的便利。业务系统中往往涉及多个业务指标（如交易量、磁盘容量、文件系统使用率、内存使用率、CPU使用率等），业务指标数据往往有一个安全的上界，保证指标数据在安全上界以下对于业务的正常稳定是非常重要的。随着业务的继续开展和增长，这类指标数据往往也会有逐渐增长乃至超过安全上界的可能，对于即将或者已经逼近安全上界的指标数据，管理员往往需要进行扩容、清理库等操作以保障系统的安全稳定。

现有技术通常采用基于告警阈值的处理方法，往往在指标数据到达阈值或者接近安全上界时才能够发现扩容、清理的需要，此方法不仅不能控制获得预警的时间，而且不能留给管理员足够的操作时间。

传统的时序算法通常面临如下问题：数据整体平稳有周期性，但是在某个地方越来越高，传统单一预测算法无法处理该种特征；训练数据内存在异常值，影响预测模型的学习和后续预测；训练数据内存在节假日，传统算法无法预测或者处理不够合理；指标数据近一段时间内发生了明显的模式变化（如概念漂移）；在较高的准确度要求下，传统算法预测指标资源消耗过多，时间过长。

发明内容

本发明的目的为解决上述问题，提出了一种时序数据容量预测方法，包括：

对时序数据进行预处理；所述预处理至少包括异常点剔除、指标缺失段长度判断与指标缺失段修复其中的一种；通过鲁棒统计的异常值筛选和指标周期分布特征，对于超出合理范围的异常值进行了筛选标识、剔除和空缺位置插值补充。对于不应该纳入预测的曲线特征段，算法会自动进行一定的推测，并将其从训练集中剔除。

提取时序数据的特征并判断所述时序数据是否具有周期性特征；

若所述时序数据具有周期性特征：

对预处理后的时序数据进行概念漂移检测确定训练集范围；

将所述训练集和提取的时序数据特征输入周期性预测模型，其中对历史节假日数据进行轮廓的回归保存以得到节假日效应；

输出包括未来节假日效应的预测结果，并与时序数据容量阈值进行比较，若超过所述时序数据阈值则产生警告；

若所述时序数据不具有周期性特征：

将预处理后的时序数据分割为多个连续的正常段并将多个连续的正常段划分为多个连续的特征段；

在多个连续的特征段中找到与最尾部的若干个连续的特征段特征匹配的另外若干个连续段，以此另外若干个连续段对时序数据容量进行预测。

优选的，采用k倍标准差阈值算法对异常点进行剔除，其中所述标准差为归一化中位数绝对偏差。

优选的，若时序数据缺失段长度超出设定长度，则不对此段时序数据进行修复；若时序数据缺失段长度未超出设定长度，采用线性插值的方法对此段时序数据进行修复，同时完成时间戳调整。