[发明专利]一种分布式文件系统的数据存储方法及装置

说明书

技术领域

本发明涉及分布式集群领域，特别是涉及一种分布式文件系统的数据存储方法及装置。

背景技术

随着互联网的发展以及互联网用户的不断增加，互联网中所产生的数据也在急剧膨胀，每天都有数以亿计的新数据产生。

单独的计算机受内存、CPU等硬件的限制，已无法满足对于海量数据存储和计算的要求。针对海量数据的处理的分布式文件系统应运而生，分布式文件系统技术将数据存储在集群中物理分散的多个存储节点中，对于集群中节点的资源进行统一的分配与管理，并且提供用户访问文件的接口。由于分布式文件系统具有分布式的优秀特性，可以将数据拆分成较小的数据分别存储到不同的集群节点，通过多个节点共同对数据进行处理，进而能够轻松实现PB级数据的存储以及计算。传统的分布式文件系统采用伪随机值产生哈希函数，哈希函数根据集群节点的剩余空间情况生成数据的分配策略，但是当进行某些小文件的存储时，由于小文件仅占用节点较少的空间，通过哈希函数所生成的分配策略仅会将小文件存储至集群中的某一个节点中，当小文件的数量很大时，频繁的写入以及读取小文件时会造成该节点的IO繁忙，因此相对会降低该节点的IO性能，进而造成集群整体可用性下降。

由此可见，提供一种分布式文件系统的数据存储方法以保证集群节点的IO性能，进而确保集群的高可用性，是本领域技术人员亟待解决的问题。

发明内容

本发明的目的是提供一种分布式文件系统的数据存储方法及装置，保证节点的IO性能，进而确保集群的高可用性。

为解决上述技术问题，本发明提供一种分布式文件系统的数据存储方法，包括：

统计分布式文件系统集群中的数据节点的预设参数；其中预设参数至少包括数据读写频率；

以预设参数为依据在数据节点中选取读写频率最低的数据节点作为目标节点；

获取数据，并将数据存储至目标节点。

优选的，预设参数还包括数据节点的剩余容量；

相应的，该方法进一步包括：

设置数据的数据量阈值；

判断数据的总量是否满足数据量阈值；

如果是，则以预设参数为依据在数据节点中选取读写频率最低的数据节点作为目标节点具体为：

以预设参数为依据在剩余容量最大的数据节点中选取读写频率最低的数据节点作为目标节点。

优选的，该方法进一步包括：

设定执行周期并记录在执行周期中目标节点的数据读写频率的变化。

优选的，该方法进一步包括：

设置频率阈值，并判断数据读写频率的变化是否超过阈值；

如果是，则进行错误提示。

优选的，以预设参数为依据在数据节点中选取读写频率最低的数据节点作为目标节点具体为：

通过哈希函数在数据节点中选取读写频率最低的数据节点作为目标节点。

优选的，该方法进一步包括：

获取目标节点的IO状态，并将IO状态进行记录。

此外，本发明还提供一种分布式文件系统的数据存储装置，包括：

统计模块，用于统计分布式文件系统集群中的数据节点的预设参数；

节点选取模块，用于以预设参数为依据在数据节点中选取读写频率最低的数据节点作为目标节点；

数据存储模块，用于获取数据，并将数据存储至目标节点。

优选的，该装置进一步包括：

阈值设定模块，用于设置数据的数据量阈值；

判断模块，用于判断数据的总量是否满足数据量阈值，

如果是，则执行节点选取模块。

优选的，该装置进一步包括：

频率记录模块，用于设定执行周期并记录在执行周期中目标节点的数据读写频率的变化。

优选的，该装置进一步包括：

状态记录模块，用于获取目标节点的IO状态，并将IO状态进行记录。

本发明所提供的分布式文件系统的数据存储方法，将数据节点的读写频率作为选取数据节点的依据。可以理解的是，读写频率较低的数据节点在集群中不经常被使用，因此可以认为该数据节点相比于被频繁使用的其它数据节点具有更高的IO性能，因此选取读写频率低的数据节点进行数据的存储能够均衡集群对于数据的整体处理性能。此外，在存储小文件时，本方法避免小文件频繁的写入同一节点的情况，进而避免当小文件数量较大而造成节点IO繁忙，保证了节点的IO性能，进而确保集群的高可用性。此外，本发明还提供一种分布式文件系统的数据存储装置，有益效果如上所述。

附图说明