[发明专利]一种磁盘阵列数据分布方法及系统

说明书

技术领域

本发明涉及一种优化磁盘阵列数据分布的技术，通常用于大规模的、密集访问的存储系统的应用。

背景技术

随着信息化速度的加快，数据量和访问量爆炸性地增加，存储系统和磁盘阵列正面临着性能和高数据访问量的压力。

目前，一些主要的优化磁盘阵列数据分布技术主要是针对当前时刻的磁盘I/O分布信息来进行一些优化，但是当前的磁盘I/O分布信息并不能够正确地反应下一个时间点的磁盘I/O信息，这样，即便是对数据分布进行了一些优化，也不能够很好地达到优化的效果。申请人通过仔细研究后，考虑到如果能够利用采集到的当前时刻的磁盘I/O信息，去准确的预测未来磁盘的I/O访问分布信息，来制定相应的磁盘数据优化策略，则可以更为可靠地提高磁盘阵列的性能。

因此如何提供一种方案，使其在显著提高磁盘阵列性能，保证企业对存储系统在性能、安全性、可靠性等多方面的要求的同时，能够应对当今数据快速增长、大规模集中数据访问的挑战，是一个亟待解决的问题。

发明内容

本发明要解决的技术问题是，提一种磁盘阵列数据分布方法及系统，可以在传统的优化磁盘阵列数据分布技术上再次显著提升性能，有助于解决磁盘阵列访问瓶颈的问题，从而大大提高磁盘访问性能，热别是针对大规模的、访问频繁的视频存储等应用，也有助于节约企业成本、有助于企业采取更为灵活的存储架构方式。

为了解决上述技术问题，本发明提供了一种磁盘阵列数据分布系统，包括依次相连的一数据采集模块、一隐马尔科夫模型建立模块、一磁盘I/O状态和分布预测模块、一预测状态分析模块、一数据重分布策略分析模块，以及一数据迁移模块，其中：

所述数据采集模块，用以采集磁盘阵列中各磁盘的I/O访问数据；

所述隐马尔科夫模型建立模块，用以根据所述磁盘阵列中各磁盘的I/O访问数据，建立磁盘阵列I/O访问分布状态的隐马尔科夫模型；

所述磁盘I/O状态和分布预测模块，用以根据所述磁盘阵列I/O访问分布状态的隐马尔科夫模型，计算出磁盘I/O处于不同运行状态下的I/O访问概率，选取具备最大I/O概率的状态序列作为最有可能的磁盘I/O访问状态输出序列；

所述数据重分布策略分析模块，用以对计算出的最有可能的磁盘I/O访问状态输出序列进行分析，得到热点磁盘、热数据、冷数据的分布情况；

所述数据重分布策略分析模块，用以根据分析出的热点磁盘、热数据、冷数据的分布情况制定数据重分布的策略；

所述数据迁移模块，用以根据所述数据重分布策略进行数据迁移。

进一步地，上述系统还可具有以下特点：

所述隐马尔科夫模型建立模块建立磁盘阵列I/O访问分布状态的隐马尔科夫模型包括：

根据所述磁盘阵列中各磁盘的I/O访问数据，计算磁盘访问状态的集合、模型的隐状态个数、可观测符号的集合、磁盘访问状态观测概率矩阵、磁盘访问状态的集合，以及初始状态概率矩阵；

根据磁盘访问状态观测概率矩阵、模型的隐状态个数、可观测符号的集合、磁盘访问状态的集合，以及初始状态概率矩阵，构造状态空间到观察的特征空间的映射，计算出状态转移概率分布；

根据磁盘访问状态观测概率矩阵、可观测符号的集合、磁盘访问状态的集合、初始状态概率矩阵，以及状态转移概率分布构建磁盘阵列I/O访问分布状态的隐马尔科夫模型。

进一步地，上述系统还可具有以下特点：

还包括一日志信息模块，其中：

所述日志信息模块，用以记录系统信息。

进一步地，上述系统还可具有以下特点：

还包括一界面管理模块，其中：

所述界面管理模块，用以对所述数据采集模块、所述预测状态分析模块、所述数据重分布策略分析模块，以及所述日志信息模块中的一个或多个进行监控。

为了解决上述技术问题，本发明还提供了一种磁盘阵列数据分布方法，包括步骤：

采集磁盘阵列中各磁盘的I/O访问数据；

计算磁盘阵列I/O访问的特征参数，包括磁盘访问状态观测概率矩阵、可观测符号的集合、磁盘访问状态的集合、初始状态概率矩阵，以及状态转移概率分布，并以此来构建磁盘阵列I/O访问分布状态的隐马尔科夫模型；

根据所述磁盘阵列I/O访问分布状态的隐马尔科夫模型，计算出磁盘I/O处于不同运行状态下的I/O概率，选取具备最大I/O概率的状态序列作为最有可能的磁盘I/O访问状态输出序列；

对所述最有可能的磁盘I/O访问状态输出序列进行分析，找到热点磁盘、热数据、冷数据分布，据以制定数据重新分布策略；