[发明专利]一种文件处理方法和装置

说明书

技术领域

本发明涉及存储技术领域，特别是涉及一种文件处理方法和一种文件处理装置。

背景技术

随着互联网技术的发展和大数据时代的到来，出现了各种各样的云计算服务，目前的云计算服务可以将海量的文件存储在分布式文件系统中，并向应用程序提供文件获取服务。对于需要实时处理的在线应用程序而言，分布式文件系统中文件的获取性能会直接影响到其对应请求的响应时间，因此对分布式文件系统中文件的获取性能提出了较高的要求。

HDFS(Hadoop分布式文件系统，Hadoop Distributed File System)具有高容错性的特点，它将数据以一个或多个副本的形式分散存储在多台计算设备上，可以存储海量数据，并且可靠性高，提供对数据快速的、可扩展的访问，适用于一次写入、多次读取的访问模式。

发明人在实施例本发明的过程中发现，现有的HDFS是通过文件列表枚举方式获取文件的。具体地，HDFS的名称节点需要维护文件目录与数据块之间的关系、以及数据块与数据节点之间的关系，这样，在接收来自客户端的文件访问请求后，需要依据文件目录与数据块之间的关系查询组成待访问文件的数据块列表，并依据该数据块与数据节点之间的关系查询该数据块列表被存储在哪几个数据节点上，然后从查询得到的数据节点上读取待访问文件的数据。可见，现有的HDFS获取文件的过程较为繁琐，因此影响了文件的获取效率，进而影响了在线应用程序的响应性能。

发明人在实施例本发明的过程中还发现，现有的HDFS仅仅适用于一次写入、多次查询的情况，而不支持并发写的情况，这样将影响在线应用程序的吞吐量。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种文件处理方法和一种文件处理装置。

依据本发明的一个方面，提供了一种文件处理方法，包括：

接收文件处理请求；

对所述文件处理请求对应待处理文件所属的文件目录进行加锁；所述待处理文件的基本信息存储于第一文件系统，所述待处理文件的文件内容存储于第二文件系统；

从第一分布式文件系统上读取所述待处理文件的基本信息；所述基本信息包括：文件在第二分布式文件系统上的存储路径；

依据所述待处理文件的基本信息，对所述文件处理请求进行处理。

可选地，所述文件处理请求包括：文件下载请求，所述依据所述待处理文件的基本信息，对所述文件处理请求进行处理的步骤，包括：

依据所述存储路径，从所述第二分布式文件系统上读取所述待处理文件的文件内容；

下载所述待处理文件的文件内容。

可选地，所述文件处理请求包括：文件删除请求，所述依据所述待处理文件的基本信息，对所述文件处理请求进行处理的步骤，包括：

依据所述存储路径，在所述第二分布式文件系统上删除所述待处理文件的文件内容；

在所述第一分布式文件系统上删除所述待处理文件的基本信息。

可选地，所述文件处理请求包括：文件状态查询请求，所述基本信息还包括文件状态信息，所述依据所述待处理文件的基本信息，对所述文件处理请求进行处理的步骤，包括：

从所述待处理文件的基本信息中获取文件状态信息，并将所述文件状态信息作为处理结果返回。

可选地，所述文件处理请求包括：文件上传请求，所述基本信息还包括：上传完成标识，所述依据所述待处理文件的基本信息，对所述文件处理请求进行处理的步骤，包括：

依据所述基本信息中的上传完成标识，判断是否完成所述待处理文件的上传；

当确定完成所述待处理文件的上传时，返回完成上传的处理结果。

可选地，所述基本信息还包括：处理状态标识，所述依据所述待处理文件的基本信息，对所述文件处理请求进行处理的步骤，还包括：

当确定未完成所述待处理文件的上传时，依据所述基本信息中的处理状态标识判断所述待处理文件是否存在处理异常；

当确定所述待处理文件存在处理异常时，在第二文件系统上进行所述待处理文件的异常处理；

在完成所述异常处理后，依据所述待处理文件在第二文件系统上的存储状态判断所述待处理文件是否被成功上传；

当确定所述待处理文件被成功上传时，返回成功上传的处理结果。

可选地，所述依据所述待处理文件的基本信息，对所述文件处理请求进行处理的步骤，还包括：