[发明专利]一种优化读写访问文件的方法、系统、设备和存储介质

说明书

本发明提供一种优化读写访问文件的方法、系统、设备和存储介质，方法包括：在集群中的服务器上部署元数据服务和/或存储服务；响应于接收到客户端创建并写海量的文件的请求，将所述文件的元数据信息记录到元数据服务，并将文件的数据并行写入多个存储服务；响应于接收到客户端读海量的文件的请求，从所述元数据服务中获取所述文件的元数据信息；以及根据所述元数据信息并行地从多个所述存储服务中读取文件的数据。本发明将元数据和数据独立出来，部署上不同的服务进行管理，让用户的请求能够并行的处理。

技术领域

本发明涉及文件处理领域，更具体地，特别是指一种优化读写访问文件的方法、系统、设备和存储介质。

背景技术

在Linux系统中，比较常见的操作是访问文件，不管是读文件还是写文件，前提条件都是对文件进行访问，尤其是数量较大的小文件，在一些场景中，批量访问小文件是经常发生的，如何能够以最快的速度访问目标文件是最关心的问题，然而，在很多服务器中，访问100万小文件的耗时结果并不是很理想，常见的情况可以分为两种，第一就是访问耗时较长，但是客户对海量小文件的访问时间容忍度又相对比较低，这就导致客户对产品性能评价较低，第二种是访问巨量文件卡死的现象，这种情况比第一种还要严重，很有可能导致客户对产品的弃用，这样的结果很显然不是企业想看见的。

针对这种情况，经过各企业的不断尝试，有一些常规的操作来改善这种境遇，一种比较常见的就是使用SSD(Solid State Drive，固态硬盘)作为缓存，在访问海量小文件的时候，通过SSD来加速，但是使用SSD作为访问小文件的缓存显得有点浪费了，况且海量小文件所需的SSD数量较多，从技术成熟度和成本角度考虑，不是最优的选择，另外一种就是使用常规数量的SSD，通过算法和数据结构来解决此类问题，在这种情况下，现有NFS(NetworkFile System，网络文件系统)虽然是多线程，但是从整体逻辑上看，并不能做到并行访问，如何让NFS并行的访问数据就成了关键问题。

发明内容

有鉴于此，本发明实施例的目的在于提出一种优化读写访问文件的方法、系统、计算机设备及计算机可读存储介质，本发明通过把元数据和数据存储服务分离，部署多个元数据服务实例和数据存储服务实例，根据需要将磁盘配置成不同的RAID模式，使得不同的服务独立出来，元数据服务只负责处理元数据相关的信息，不参与文件的读取访问，存储服务可以存在多个，增加了系统的灵活性，同时能够管理集群上所有的服务，这样NFS客户端可以并行的去访问数据。

基于上述目的，本发明实施例的一方面提供了一种优化读写访问文件的方法，包括如下步骤：在集群中的服务器上部署元数据服务和/或存储服务；响应于接收到客户端创建并写海量的文件的请求，将所述文件的元数据信息记录到元数据服务，并将文件的数据并行写入多个存储服务；响应于接收到客户端读海量的文件的请求，从所述元数据服务中获取所述文件的元数据信息；以及根据所述元数据信息并行地从多个所述存储服务中读取文件的数据。

在一些实施方式中，所述将文件的数据并行写入多个存储服务包括：将所述文件分割成多个预定大小的数据块，并将多个所述数据块部署到不同的存储服务中。

在一些实施方式中，方法还包括：在所述集群中部署管理服务，并将部署的所述元数据服务和所述存储服务向所述管理服务进行注册；以及通过所述管理服务向注册后的所述元数据服务和所述存储服务发送心跳检测。

在一些实施方式中，所述在集群中的服务器上部署元数据服务和/或存储服务包括：基于服务器磁盘数量组成带有两个独立分布式校验方案的独立数据磁盘。