[发明专利]一种基于数据温度对数据块自动进行分布的方法和装置

说明书

技术领域

本发明属于数据处理领域，尤其涉及一种基于数据温度对数据块自动进行分布的方法和装置。

背景技术

随着计算机技术和网络技术有了飞速的发展，单位存储的成本不断降低。这些为信息数字化提供了坚实的基础。而数据总线带宽、磁盘速度的增长无法满足应用对于数据带宽的需求，存储系统成为计算机系统发展的瓶颈。

在现有技术中，数据被分为固定大小的“块”，称为数据块，这些数据块被随机的存储在存储系统的磁盘中，读取时存储系统的存储层根据文件系统层请求的地址进行映射向合适的磁盘读取数据。

但是由于磁盘I/O性能的不同，磁盘访问量的不同可能出现：某些磁盘一直被访问，某些磁盘一直不被访问的情况，这样就对磁盘的性能造成很大的浪费。

发明内容

本发明实施例的目的在于提供一种基于数据温度对数据块自动进行分布的方法和装置，以解决现有无法充分利用所有存储节点的存储性能的问题。

第一方面，本发明实施例提供了一种基于数据温度对数据块自动进行分布的方法，所述方法包括：

获取存储节点存储的数据块的被访问信息，所述被访问信息包括：数据块的修改时间、数据块的被访问时间、数据块的被访问次数和数据块的被访问频率；

对所述被访问信息进行统计，生成统计数据，所述统计为：对被访问信息中的一种或多种进行统计；

根据所述统计数据将存储节点存储的数据块划分为不同的数据温度；

根据存储节点的I/O性能和所述数据温度对所述数据块进行重新分布。

在第一方面的第一种可能的实施方式中，在所述对所述被访问信息进行统计，生成统计数据的步骤之前，所述方法还包括：

预设需要进行统计的信息。

在第一方面的第二种可能的实施方式中，在所述获取存储节点存储的数据块的被访问信息之后，所述方法还包括：

获取存储节点的负载信息，所述负载信息包括：存储节点的存储空间和数据块的大小信息。

结合第一方面的第二种可能的实施方式，在第三种可能的实施方式中，在所述根据存储节点的I/O性能和所述数据温度对所述数据块进行重新分布的步骤之后，所述方法还包括：

根据所述负载信息对重新分布后的数据块进行调整。

结合第一方面的第三种可能的实施方式，在第四种可能的实施方式中，所述根据所述负载信息对重新分布后的数据块进行调整，包括：

当第一存储节点的存储空间无法存储对应的数据块时，将多出的数据块存储到所述第一存储节点的I/O性能相近的第二存储节点。

第二方面，本发明实施例提供了一种基于数据温度对数据块自动进行分布的装置，所述装置包括：

获取单元，用于获取存储节点存储的数据块的被访问信息，所述被访问信息包括：数据块的修改时间、数据块的被访问时间、数据块的被访问次数和数据块的被访问频率；

统计单元，用于对所述获取单元获取的被访问信息进行统计，生成统计数据，所述统计为：对被访问信息中的一种或多种进行统计；

划分单元，用于根据所述统计单元的统计数据将存储节点存储的数据块划分为不同的数据温度。

在第二方面的第一种可能的实施方式中，在所述统计单元统计之前，所述装置还包括：

统计信息预设单元，用于预设需要进行统计的信息。

在第二方面的第二种可能的实施方式中，在所述获取单元获取之后，所述装置还包括：

负载信息获取单元，用于获取存储节点的负载信息，所述负载信息包括：存储节点的存储空间和数据块的大小信息。

结合第二方面的第二种可能的实施方式，在第三种可能的实施方式中，在所述负载信息获取单元获取之后，所述装置还包括：

调整单元，用于根据所述负载信息获取单元获取的负载信息对重新分布后的数据块进行调整。

结合第二方面的第三种可能的实施方式，在第四种可能的实施方式中，所述调整单元的调整，包括：

当第一存储节点的存储空间无法存储对应的数据块时，将多出的数据块存储到所述第一存储节点的I/O性能相近的第二存储节点。

本发明实施例，系统获取存储节点存储的数据块的被访问信息，根据所述被访问信息对数据块的数据温度进行划分，根据存储节点的I/O性能和所述数据温度对所述数据块进行重新分布，使得所有存储节点的性能都能够得到充分发挥，为应用提供了更好的磁盘I/O性能。

附图说明