[发明专利]一种读取元数据的方法、装置、系统及设备

说明书

技术领域

本发明涉及文件系统技术领域，更具体地说，涉及一种读取元数据的方法、装置、系统、设备及计算机可读存储介质。

背景技术

随着移动互联网和大数据概念的迅速发展崛起，需要存储的数据量正以几何级数增长，数据量的爆炸式增长以及数据类型的日益细化，KB级甚至更小的文件数量也越来越多。

目前，在分布式文件系统中读取文件时，由于用户进程和存储介质往往分布在不同的节点，导致IO路径较长。且每次读取文件都需要在集群网络内部访问元数据，甚至可能需要跨网络读取元数据，跨网络读取文件的元数据增大了文件读取的时延。当文件比较大，其读取时间较长，其读取元数据的时间在整个文件的读取时间中的占比较小；当文件较小时，相应的其读取时间有所缩减，但是读取其元数据的时间在整个文件的读取时间中的占比尤为明显。因此，在海量小文件的读取场景中，文件元数据的读取对文件读取性能的拖累更为明显。

因此，在读取海量小文件的过程中，如何减少文件的元数据的读取时间，提高海量小文件的读取性能，是本领域技术人员需要解决的问题。

发明内容

本发明的目的在于一种读取元数据的方法、装置、系统、设备及计算机可读存储介质，以实现减少文件的元数据的读取时间，提高海量小文件的读取性能。

为实现上述目的，本发明实施例提供了如下技术方案：

一种读取元数据的方法，包括：

接收客户端发送的读取目标文件的元数据的请求；

根据所述请求的目标文件确定与所述目标文件相关的文件；

读取所述目标文件的元数据，以及与所述目标文件相关的文件的元数据并缓存至所述客户端。

其中，所述根据所述请求的目标文件确定与所述目标文件相关的文件，包括：

根据所述请求的目标文件所在的目录，以及所述目录中文件的偏移量确定与所述目标文件相关的文件。

其中，所述读取所述目标文件的元数据，以及与所述目标文件相关的文件的元数据并缓存至所述客户端，包括：

异步读取所述目标文件的元数据，以及与所述目标文件相关的文件的元数据并缓存至所述客户端。

其中，所述客户端发送读取目标文件的元数据的请求之前，还包括；

所述客户端判断是否缓存有所述目标文件的元数据；

若是，则所述客户端读取所述目标文件的元数据；

若否，则所述客户端发送读取目标文件的元数据的请求至服务端，所述服务端执行所述接收客户端发送的读取目标文件的元数据的请求的步骤。

一种读取元数据的装置，包括：

接收模块，用于接收客户端发送的读取目标文件的元数据的请求；

确定模块，用于根据所述请求的目标文件确定与所述目标文件相关的文件；

读取模块，用于读取所述目标文件的元数据，以及与所述目标文件相关的文件的元数据并缓存至所述客户端。

其中，所述确定模块具体用于：

根据所述请求的目标文件所在的目录，以及所述目录中文件的偏移量确定与所述目标文件相关的文件。

其中，所述读取模块具体用于：

异步读取所述目标文件的元数据，以及与所述目标文件相关的文件的元数据并缓存至所述客户端。

一种读取元数据的系统，包括：

客户端，用于发送读取目标文件的元数据的请求；

服务端，用于接收所述客户端发送的读取目标文件的元数据的请求；根据所述请求的目标文件确定与所述目标文件相关的文件；读取所述目标文件的元数据，以及与所述目标文件相关的文件的元数据并缓存至所述客户端。

一种读取元数据的设备，包括：

存储器，用于存储读取元数据的程序；

处理器，用于执行所述读取元数据的程序时实现上述任意一项所述的读取元数据的方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质上存储有读取元数据的程序，所述读取元数据的程序被处理器执行时实现上述任意一项所述的读取元数据的方法的步骤。

通过以上方案可知，本发明实施例提供的一种读取元数据的方法，所述方法包括：接收客户端发送的读取目标文件的元数据的请求；根据所述请求的目标文件确定与所述目标文件相关的文件；读取所述目标文件的元数据，以及与所述目标文件相关的文件的元数据并缓存至所述客户端。