[发明专利]一种文件处理方法、装置、设备及介质

说明书

本申请公开了一种文件处理方法、装置、设备及介质，涉及计算机技术领域，包括：基于预设的聚合属性参数将若干个小文件聚合为大文件；向分布式文件系统中的名称节点发送文件写入请求，并在接收到名称节点返回的数据节点信息后，将大文件写入相应的数据节点；基于目标小文件的聚合属性参数向名称节点发送文件读取请求，并在接收到名称节点返回的数据节点信息后，向相应的数据节点发送文件读取请求，以便在接收到数据节点返回的目标小文件后，将目标小文件保存至本地。可见，本申请将若干个小文件聚合为大文件，使得分布式文件系统中的名称节点无需对每个小文件的元数据信息进行保存，只需要对聚合后大文件的属性参数进行保存，减少了内存使用。

技术领域

本发明涉及计算机技术领域，特别涉及一种文件处理方法、装置、设备及介质。

背景技术

信息化程度的加深，使得数据成为了无形的资产和财富。分布式文件系统(HDFS，Hadoop Distributed File System)能够更好地存储、计算数据，实现数据共享、备份、容灾。随着大数据时代的发展，海量存储和计算已成为不可或缺的一部分。

分布式文件系统是分布式领域的一个应用，用于存储文件通过目录树来定位文件；其次，分布式文件系统由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。分布式场景就是使用大量的廉价机器组成的集群去执行大规模运算，这包括大规模的计算和大规模的存储。分片机制和流式存储让分布式文件系统在处理大文件时得心应手，但在处理小文件时性能就特别低。理由如下：首先，名称节点(NameNode，NN)作为分布式文件系统的管理者保存着所有数据的元数据，所述元数据包括但不限于文件位置、所有者、权限等，所述名称节点还用于控制客户端(client)对文件的访问，为数据节点(DataNode，DN)分配任务，维护edits(编辑)日志和镜像文件(fsimage)。这些元数据存在于内存中，并且每一条元数据占用了150byte(字节)的容量。由于一台服务器的内存是固定，因此元数据越多，则对内存的压力就越大，如果分布式文件系统去处理海量小文件时就会对名称节点的内存造成很大压力，其次，寻道时间要超过读取时间。

为此，如何减少名称节点内存的使用以减轻其内存压力是本领域亟待解决的问题。

发明内容

有鉴于此，本发明的目的在于提供一种文件处理方法、装置、设备及介质，能够减少名称节点内存的使用以减轻其内存压力，其具体方案如下：

第一方面，本申请公开了一种文件处理方法，包括：

基于预设的聚合属性参数将若干个待聚合小文件聚合为大文件；

向分布式文件系统中的名称节点发送文件写入请求，并在接收到所述名称节点基于允许上传的指令返回的数据节点信息后，根据所述数据节点信息将所述大文件写入至相应的数据节点；

基于待读取的目标小文件的所述聚合属性参数向所述名称节点发送文件读取请求，并在接收到所述名称节点基于允许读取的指令返回的数据节点信息后，向相应的数据节点发送所述文件读取请求，以便在接收到所述数据节点基于所述文件读取请求返回的所述目标小文件后，将所述目标小文件保存至本地。

可选的，所述基于预设的聚合属性参数将若干个待聚合小文件聚合为大文件之前，还包括：

启动小文件聚合属性开关；

从目标文件夹中确定出若干个小文件，并确定所述小文件的所述聚合属性参数，得到所述若干个待聚合小文件。

可选的，所述确定所述小文件的所述聚合属性参数，得到所述若干个待聚合小文件，包括：

确定所述小文件所属的大文件的文件标识以及所述小文件在所述所属的大文件中的聚合顺序，得到所述若干个待聚合小文件；

相应的，所述基于预设的聚合属性参数将若干个待聚合小文件聚合为大文件，包括：