[发明专利]一种基于混合存储的流式数据自适应持久化方法及系统

摘要

本发明一种基于混合存储的流式数据自适应持久化方法及系统，包括实时采集流式数据处理系统的状态特征信息；建立基于机器学习的多元线性回归模型，根据采集的状态特征信息估计模型参数；根据当前流式数据处理系统状态特征信息和建立的回归模型，计算得出当前状态下流式数据处理系统的最优持久化窗口大小；流式数据处理系统根据第得出的持久化窗口大小更改其当前的持久化窗口，将流数据处理过程中的中间状态或计算结果保存到固态硬盘中；当固态硬盘中的数据容量达到一定程度时，再将固态硬盘中的数据保存到普通硬盘上。本发明可以根据当前及历史状态信息，计算出此刻持久化窗口的大小，进而动态适配流式数据速率不稳定的情况，保证了系统在易用性和一致性之间的平衡。

主权项

1.一种基于混合存储的流式数据自适应持久化方法，其特征在于包括以下步骤：(1)实时采集流式数据处理系统的状态特征信息；状态特征信息分为两类：系统易用性相关信息和系统一致性相关信息，系统易用性相关信息包括CPU使用率C，内存使用率M，网络速率F，固态硬盘使用率U；系统一致性相关包括流式数据进入内存的速率V，流式数据进入内存的延迟D，系统写入固态硬盘的速率P，系统写入固态硬盘的延迟Z；(2)建立基于机器学习的多元线性回归模型，根据采集的流式数据处理系统的状态特征信息采用逐步回归方法估计模型参数；(3)根据当前流式数据处理系统状态特征信息和步骤(2)建立的多元线性回归模型，计算得出当前状态下流式数据处理系统的最优持久化窗口大小；(4)流式数据处理系统根据步骤(3)得出的最优持久化窗口大小更改当前的持久化窗口，将流数据处理过程中的中间状态或计算结果数据保存到固态硬盘中；(5)当固态硬盘中的数据达到一定程度即固态硬盘的使用率占到了80％时，再将固态硬盘中的数据转移到普通硬盘上。