[发明专利]一种数据分层存储系统及方法

说明书

本发明提供了一种数据分层存储系统及方法，该系统包括数据监控模块、自动分层模块、数据迁移模块；数据监控模块在确定出一定时间内外部对存储系统的第一分层的访问次数未达到阈值时，根据外部对各分层的访问记录，确定各分层的样本数据；自动分层模块根据样本数据建立自动分层模型，并针对数据监控模块发来的各目标数据，利用自动分层模型确定各目标数据所属的分层层级；数据迁移模块将各目标数据存储至其所属的分层层级对应的分层中。外部对分层的访问可以反映其当前的访问热点，访问热点变动时，系统可以确定样本数据以重建自动分层模型，并据此将各数据存储或迁移至对应分层。因此，本方案能够提高存储系统的磁盘利用率。

技术领域

本发明涉及计算机技术领域，特别涉及一种数据分层存储系统及方法。

背景技术

随着云计算、云存储、物联网等技术的不断发展，数据呈现爆炸式增长的趋势。因此，在提高存储系统容量的基础之上，还需考虑如何对海量数据进行有效管理，以提高磁盘利用率及保证存储系统的整体性能。

目前，存储系统中可以预先建立多个固定的分层，其中，每一个分层均对应有存储介质。当存在新数据时，该新数据与哪一分层的关联度相对最高，即可将该新数据存储至这一分层中。

但是，基于新数据的不断存入，易造成一些分层中存储的数据过多，使得各分层间数据存储不均衡，从而造成存储系统的磁盘利用率较低。

发明内容

本发明提供了一种数据分层存储系统及方法，能够提高存储系统的磁盘利用率。

为了达到上述目的，本发明是通过如下技术方案实现的：

一方面，本发明提供了一种数据分层存储系统，包括：

数据监控模块、自动分层模块、数据迁移模块，其中，所述数据监控模块包括命中率统计单元、数据样本筛选单元、数据层级标注单元；

所述命中率统计单元，用于针对存储系统的至少两个分层中的第一分层，统计相应预设时间段内，外部对所述第一分层的访问次数；在确定出所述访问次数未达到相应预设阈值时，触发所述数据样本筛选单元；

所述数据样本筛选单元，用于针对所述存储系统的每一个分层均执行：根据相应预设时间段内，外部所访问的该分层中存储的第一数量的数据，确定所述第一数量的数据中的第二数量的样本数据，其中，所述第一数量不小于所述第二数量；将确定出的针对每一个分层的第二数量的样本数据发送给所述自动分层模块；

所述自动分层模块，用于根据所述数据样本筛选单元发来的针对每一个分层的第二数量的样本数据，建立自动分层模型，并触发所述数据层级标注单元；针对所述数据层级标注单元发来的至少一个目标数据，利用所述自动分层模型，分别确定每一个所述目标数据所属的分层层级，并将其发送给所述数据层级标注单元；

所述数据层级标注单元，用于在接收到所述自动分层模块发来的触发信号时，确定至少一个目标数据，并将其发送给所述自动分层模块；在接收到所述自动分层模块发来的每一个所述目标数据所属的分层层级时，触发所述数据迁移模块；

所述数据迁移模块，用于针对所述数据层级标注单元中确定的每一个所述目标数据，均执行：将该目标数据存储至其所属的分层层级对应的分层中。

进一步地，所述第一分层为存储系统的至少两个分层中的最高分层层级对应的分层，其中，分层层级越高，单位时间内外部对该分层层级对应的分层的访问次数越多。

进一步地，所述命中率统计单元中基于的预设时间段与所述数据样本筛选单元中基于的预设时间段，在时间维度上为同一时间段；

所述第二数量占所述第一数量的百分比固定。

进一步地，所述自动分层模型为决策树；

所述自动分层模块，包括第一处理单元、第二处理单元和第三处理单元，其中，