[发明专利]一种分布式文件系统的验证方法、装置、设备及存储介质

说明书

本发明涉及了一种分布式文件系统的验证方法、装置、设备及存储介质，其中方法包括：测试节点基于从分布式文件系统集群获取的存储策略列表确定指标参数‑存储规则对照表；测试节点根据所述存储策略列表中包含的存储策略生成测试数据，并将测试数据依据存储策略分别上传至分布式文件系统集群的相应存储路径下；对分布式文件系统集群中的测试数据分别多次执行影响测试数据的指标参数的指定操作；根据分布式文件系统集群日志分别计算测试数据的当前指标参数，并记录测试数据的当前存储路径；根据当前指标参数、当前存储路径和指标参数‑存储规则对照表验证分布式文件系统集群的存储策略的生效性。本发明实现了分布式文件系统的性能的验证。

技术领域

本发明涉及数据存储技术领域。本发明进一步涉及一种分布式文件系统的验证方法、装置、设备及存储介质。

背景技术

随着Hadoop(大数据)社区技术发展，HDFS(Hadoop Distributed File System，分布式文件系统)从开始存储目录列表同构存储结构，到存储策略新增异构存储，随之后内存存储、内存分层存储、档案存储、纠删码存储、外部存储、外部分层存储等等，其中已陆续实现，以后还会有更多存储方式。根据已实现的部分来看，对于用户而言，这些数据存储方式的确是有用的，但是它们有一个共同的问题：需要外界主动触发。为解决当前HDFS存储策略不智能的问题，Hadoop社区已提出了HDFS smart storage management智能化管理，SSM是一个智能化管理的机制，核心原理为根据文件历史访问情况数据，例如最近一次访问时间等，作为数据存储的一个评判标准。如果说要真正做文件存储方式的预测分析，可能还需要结合文件的大小、属性信息等更多因素的信息，然后做一个综合所有因素的一个预测。

HDFS smart storage management智能化管理存储策略仅实现框架设计并未发布，细节部分还未实现，该架构现在还在实验阶段。但此类以Hadoop系统生态圈为代表的大数据革命级技术，将会提高当前HDFS存储技术一个维度。将用户写入集群的数据直接就自适应地以最合适的存储策略存储到最合适的存储介质上，而且对于用户而言它是无感知的。随着大数据日益剧增，随着该功能的完善、Hadoop社区补丁的更新以及后续新版本的发布，HDFS smart storage management智能化管理存储策略会越来越完善。然而，针对如此智能化又复杂的系统，如何评估该系统是否能达到对应的存储策略，集群中的数据是否已被智能化地管理，如何评估该管理策略的效益，是目前有待实现的一个非常重要的主题。

因此，基于上述情况，需要提出一种有效的分布式文件系统的验证或测试方法，从而评估生产环境中HDFS smart storage management智能化管理存储策略是否能达到所述效益，以准确评估智能化管理存储策略达到的效果，进而验证分布式文件系统的性能，为HDFS领域技术革新提供评估结果，提高企业平台存储利用率。

发明内容

一方面，本发明基于上述目的提出了一种分布式文件系统的验证方法，其中该方法包括以下步骤：

测试节点基于从分布式文件系统集群获取的存储策略列表确定指标参数-存储规则对照表；

测试节点根据所述存储策略列表中包含的存储策略生成测试数据，并将测试数据依据存储策略分别上传至分布式文件系统集群的相应存储路径下；

对分布式文件系统集群中的测试数据分别多次执行影响测试数据的指标参数的指定操作；

根据分布式文件系统集群日志分别计算测试数据的当前指标参数，并记录测试数据的当前存储路径；

根据当前指标参数、当前存储路径和指标参数-存储规则对照表验证分布式文件系统集群的存储策略的生效性。

根据本发明的分布式文件系统的验证方法的实施例，其中该方法进一步包括：

响应于经验证分布式文件系统的存储策略生效，将分布式文件系统集群中的测试数据下载至测试节点；