[发明专利]一种面向实时流数据预测性分析的降载方法及系统

说明书

本发明涉及一种面向实时流数据预测性分析的降载方法，所述方法包括：对数据集进行预处理；对预处理后的数据集通过Re l i efF方法进行特征选择，选择出用于预测的代表性特征；通过DTW距离来度量时间序列的子序列与整个序列的相似度的变化，并使用局部平均和窗口技术对相似性距离进行处理，从而确定用于预测的数据和时间点；使用Haar小波提取时间序列在不同尺度下的小波系数，并计算其能量作为特征。本发明可以降低处理数据的维度，减少分类的计算量、缩短处理时间，提高分类结果的准确率；并且能够减小预测任务执行时间的误差，提高处理时间序列数据的效率，从而更好的为任务调度、负载均衡等提供支撑。

技术领域

本发明涉及计算机应用技术领域，尤其涉及一种面向实时流数据预测性分析的降载方法及系统。

背景技术

随着计算机技术、数据采集技术的广泛应用，数据已不仅仅局限于文件、数据库等传统的静态形式，一种顺序、大量、快速、连续到达的流式数据应运而生。一般情况下，数据流可被视为一个随时间延续而无限增长的动态数据集合，这个数据集合中的数据只能按下标的递增顺序读取一次。数据流是现象驱动的，数据到达速度与数据项到达的次序无法被控制，常应用于网络监控、传感器网络、工业监控、气象测控、金融证券服务、医药和科研等领域。

流数据挖掘作为传统数据挖掘的延伸，已成为当前研究的热点问题，在众多领域有着广泛的应用，具有非常重要的现实意义。数据流具有无限快速性、不确定性、时变性、单遍扫描性、结果近似性等特点，这些特点使得数据流无法使用传统的静态数据挖掘方法进行数据挖掘。

时序数据是数据流的一种，人们在众多领域使用数据科学和机器学习技术来分析时序数据以进行可视化、决策和预测，流数据挖掘具有对数据单次扫描、数据量大和速度快等特点，并且流数据挖掘是CPU密集型任务，容易出现过载、高延迟等问题。

降载技术可以很好的解决过载和高延迟问题，降载(Load Shedding)是指当输入数据流超出流处理引擎(Stream-processing engines,SPEs)的处理能力时移除多余负载的过程，流处理引擎是一类支持数据流处理的应用程序。

但在现有技术中，无法准确的预测时间，处理时间序列数据的效率不高且处理时间过长，无法达到精确地预测任务执行时间的目的。

发明内容

为了现有技术存在的上述技术缺陷，本发明提供了一种面向实时流数据预测性分析的降载方法及系统，可以有效解决背景技术中的问题。

为了解决上述技术问题，本发明提供的技术方案具体如下：

本发明实施例公开了一种面向实时流数据预测性分析的降载方法，所述方法包括：对数据集进行预处理；对预处理后的数据集通过ReliefF进行特征选择，选择出用于预测的代表性特征；通过DTW距离来度量时间序列的子序列与整个序列的相似度的变化，并使用局部平均和窗口技术对相似性距离进行处理，从而确定用于预测的数据和时间点；使用Haar小波提取时间序列在不同尺度下的小波系数，并计算其能量作为特征，构建基于随机森林回归算法的任务执行时间预测模型，以预测任务执行时间，从而更好的为任务调度、负载均衡等提供支撑。

在上述任一方案中优选的是，数据集包括任务参数和一系列时间序列数据，一系列时间序列数据为任务执行过程中所收集的任务与资源状态数据；通过以下方式对数据集进行处理：将数据集按照任务执行时间进行不同层次的划分，并对数据集加上相应的类标；划分方法包括按照特定步长离散化划分和将时间按照特定底数为2的幂指数划分。

在上述任一方案中优选的是，使用ReliefF特征选择算法计算不同数据集特征的权值，通过考察特征在同类近邻样本与异类近邻样本之间的差异，度量特征的区分能力，若特征在同类样本之间差异小，而在异类样本之间差异大，则该变量具有较强的区分能力。