[发明专利]一种分布式存储系统的小文件读写性能测试方法及装置

说明书

本发明实施例公开了一种分布式存储系统的小文件读写性能测试方法、装置、设备及计算机可读存储介质。其中，方法包括接收用户输入的性能测试信息，根据性能测试信息创建多个执行线程，利用各执行线程同时通过调用CEPH分布式存储系统的动态库中的接口，根据性能测试信息对CEPH分布式存储系统中进行读写操作，并记录各线程每次读写完成一次小文件的时间及相应小文件的大小；根据性能测试信息、记录的信息计算各线程读写小文件的总数据量、总时间及总文件个数，以用于衡量分布式存储系统的小文件读写性能。避免了CEPH分布式存储系统小文件读写性能测试受客户端或协议的干扰，提高了CEPH分布式存储系统小文件读写性能测试的准确性。

技术领域

本发明实施例涉及分布式存储技术领域，特别是涉及一种分布式存储系统的小文件读写性能测试方法、装置、设备及计算可读机存储介质。

背景技术

分布式存储系统，将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，同时存在着可靠性和安全性隐患，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，不但可提高系统的可靠性、可用性和存取效率，还易于扩展。

CEPH为一种扩展性高、可靠性高、性能高的分布式存储系统，支持文件系统，块存储，对象存储；借助于OpenStack快速的发展和其开源特性，吸引了越来越多的开发者在生产环境实践和探索。CEPH依靠其提供的统一存储系统，被广泛应用于云数据中心建设中。

在CEPH分布式存储系统中，大多数数据存储时为低于1M的小文件，例如在动漫场景中，且小文件的数量较多，那么对处理小文件性能进行测试和调试，为CEPH分布式存储系统的关键的一环。

在对CEPH分布式存储系统进行读写时，一般通过客户端进行读写，例如fuse，还可通过协议进行挂载，例如samba、cifs等。由于客户端和协议性能的限制，很难对分布式集群进行压力测试，即使进行测试，测试结果中会掺杂客户端和协议的影响因素，无法准确判断CEPH分布式存储系统的读写性能。

鉴于此，如何在对CEPH分布式存储系统的小文件读写性能进行测试时排除客户端和协议的影响，获得准确的小文件读写性能测试结果，是本领域技术人员亟待解决的问题。

发明内容

本发明实施例的目的是提供一种分布式存储系统的小文件读写性能测试方法、装置、设备及计算可读机存储介质，以解决客户端与协议挂载对CEPH分布式存储系统集群性能的干扰的问题，从而提高CEPH分布式存储系统的小文件读写性能测试的准确性。

为解决上述技术问题，本发明实施例提供以下技术方案：

本发明实施例一方面提供了一种分布式存储系统的小文件读写性能测试方法，包括：

接收用户输入的性能测试信息，所述性能测试信息包括待测小文件的参数信息；

根据所述性能测试信息创建多个执行线程，利用各执行线程同时通过调用CEPH分布式存储系统的动态库中的接口，根据所述性能测试信息对所述CEPH分布式存储系统中进行读写操作，并记录各执行线程每次读写完成一次小文件的时间及相应小文件的大小；

根据所述性能测试信息、记录的信息计算各执行线程读写小文件的总数据量、总时间及总文件个数，以用于衡量所述CEPH分布式存储系统的小文件读写性能。

可选的，所述性能测试信息包括：

待测小文件的数量、大小范围、读写方式、线程数；

所述待测小文件的读写方式包括顺序读写或随机读写。

可选的，所述根据所述性能测试信息创建多个执行线程为：