[发明专利]文件处理方法、系统、电子设备和存储介质

说明书

本发明提供了一种文件处理方法、系统、电子设备和存储介质，所述方法应用于分布式文件管理系统，分布式文件管理系统包括管理节点、模拟节点和N个数据节点，模拟节点基于管理节点生成，所述方法包括：模拟节点获取N个数据节点中每一数据节点存储的文件对象的文件信息；根据文件信息确定M个目标文件对象；将M个目标文件对象移动到目标文件夹；根据目标文件夹的路径，修改M个目标文件对象的路径。本发明实施例中，通过模拟节点获取每一数据节点存储的文件对象的文件信息，进而根据文件信息确定目标文件对象。将目标文件对象移动到目标文件夹，避免每个小文件占用一个对应的索引，以此释放系统的内存空间，提高系统处理文件的性能。

技术领域

本发明涉及网络技术领域，特别是涉及文件处理方法、系统、电子设备和存储介质。

背景技术

目前，随着互联网技术的发展，需要进行存储和处理的数据不断增长，分布式文件系统(Distributed File System，DFS)应运而生。分布式文件系统可以对数据量较大的文件进行存储和管理，分布式文件系统将文件存储在多个节点，通过网络进行节点间的通信和数据传输，方便用户访问。

然而，以分布式文件系统为Hadoop分布式文件系统(Hadoop Distributed FileSystem，HDFS)为例，HDFS存在大量的数据量较小的小文件，且每个小文件占用对应的数据节点中的一个索引来存储小文件的数据信息，这占用了系统的大量内存，影响系统的性能。

发明内容

本发明实施例的目的在于提供一种文件处理方法、系统、电子设备和存储介质，解决分布式文件系统中的小文件占用了大量内存，进而影响系统性能的技术问题。具体技术方案如下：

在本发明实施例的第一方面，首先提供了一种文件处理方法，应用于分布式文件管理系统，所述分布式文件管理系统包括管理节点、模拟节点和N个数据节点，所述模拟节点基于所述管理节点生成，所述数据节点存储有数据文件，N为正整数，所述方法包括：

所述模拟节点获取所述N个数据节点中每一数据节点存储的文件对象的文件信息，一个所述文件对象占用对应的数据节点中的一个索引；

根据所述文件信息确定M个目标文件对象，所述M个目标文件对象为占用内存值小于预设值的文件或者文件夹，所述M为大于1的正整数；

将所述M个目标文件对象移动到目标文件夹，所述目标文件夹存储于任一数据节点，所述目标文件夹占用对应的数据节点中的一个索引；

根据所述目标文件夹的路径，修改所述M个目标文件对象的路径。

在本发明实施例的第二方面，还提供了一种文件处理系统，所述文件处理系统包括管理节点、模拟节点和N个数据节点，所述模拟节点基于所述管理节点生成，所述数据节点存储有数据文件，N为正整数；

所述模拟节点，用于获取所述N个数据节点中每一数据节点存储的文件对象的文件信息，一个所述文件对象占用对应的数据节点中的一个索引；

根据所述文件信息确定M个目标文件对象，所述M个目标文件对象为占用内存值小于预设值的文件或者文件夹，所述M为大于1的正整数；

将所述M个目标文件对象移动到目标文件夹，所述目标文件夹存储于任一数据节点，所述目标文件夹占用对应的数据节点中的一个索引；

根据所述目标文件夹的路径，修改所述M个目标文件对象的路径。

在本发明实施例的第三方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一实施例所述的文件处理方法。

在本发明实施的第四方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一实施例所述的文件处理方法。