[发明专利]一种文件处理方法、装置、设备及介质

权利要求书

1.一种文件处理方法，其特征在于，包括：

基于预设的聚合属性参数将若干个待聚合小文件聚合为大文件；

向分布式文件系统中的名称节点发送文件写入请求，并在接收到所述名称节点基于允许上传的指令返回的数据节点信息后，根据所述数据节点信息将所述大文件写入至相应的数据节点；

基于待读取的目标小文件的所述聚合属性参数向所述名称节点发送文件读取请求，并在接收到所述名称节点基于允许读取的指令返回的数据节点信息后，向相应的数据节点发送所述文件读取请求，以便在接收到所述数据节点基于所述文件读取请求返回的所述目标小文件后，将所述目标小文件保存至本地。

2.根据权利要求1所述的文件处理方法，其特征在于，所述基于预设的聚合属性参数将若干个待聚合小文件聚合为大文件之前，还包括：

启动小文件聚合属性开关；

从目标文件夹中确定出若干个小文件，并确定所述小文件的所述聚合属性参数，得到所述若干个待聚合小文件。

3.根据权利要求2所述的文件处理方法，其特征在于，所述确定所述小文件的所述聚合属性参数，得到所述若干个待聚合小文件，包括：

确定所述小文件所属的大文件的文件标识以及所述小文件在所述所属的大文件中的聚合顺序，得到所述若干个待聚合小文件；

相应的，所述基于预设的聚合属性参数将若干个待聚合小文件聚合为大文件，包括：

按照所述小文件在所述所属的大文件中的聚合顺序，将具有相同所述文件标识的所述小文件聚合为同一个所述大文件。

4.根据权利要求1所述的文件处理方法，其特征在于，所述在接收到所述名称节点基于允许上传的指令返回的数据节点信息后，根据所述数据节点信息将所述大文件写入至相应的数据节点，包括：

在接收到所述名称节点返回的允许上传的指令后，向所述数据节点发送所述文件上传请求，并通过所述名称节点接收所述数据节点基于允许上传的指令确定的数据节点信息，然后根据所述数据节点信息将所述大文件写入至相应的数据节点。

5.根据权利要求3所述的文件处理方法，其特征在于，所述基于待读取的目标小文件的所述聚合属性参数向所述名称节点发送文件读取请求，包括：

基于待读取的目标小文件所属的大文件的文件标识以及所述待读取的目标小文件在所述所属的大文件中的聚合顺序，向所述名称节点发送文件读取请求，以便所述名称节点基于所述文件标识判断所述待读取的目标小文件所属的大文件是否存在和所在的数据节点，以及基于所述聚合顺序查询所述待读取的目标小文件在所述所属的大文件中的位置；

相应的，所述在接收到所述名称节点基于允许读取的指令返回的数据节点信息后，向相应的数据节点发送所述文件读取请求，以便在接收到所述数据节点基于所述文件读取请求返回的所述目标小文件后，将所述目标小文件保存至本地，包括：

当所述待读取的目标小文件所属的大文件存在，则在接收到所述名称节点基于允许读取的指令返回的数据节点信息后，根据所述数据节点信息向相应的数据节点发送所述文件读取请求，以便在接收到所述数据节点基于所述文件读取请求、所述待读取的目标小文件所属的大文件所在的数据节点，以及所述待读取的目标小文件在所述所属的大文件中的位置返回的所述目标小文件后，将所述目标小文件保存至本地。

6.根据权利要求1至5任一项所述的文件处理方法，其特征在于，所述基于预设的聚合属性参数将若干个待聚合小文件聚合为大文件，包括：

基于预设的聚合属性参数以及若干个待聚合小文件的文件大小，将所述待聚合小文件聚合为第一大文件或第二大文件；其中，所述第一大文件的文件大小为预设的文件大小，所述第二文件的文件大小大于所述预设的文件大小。

7.根据权利要求6所述的文件处理方法，其特征在于，所述根据所述数据节点信息将所述大文件写入至相应的数据节点，包括：

如果所述大文件为所述第二大文件，则对所述大文件进行切分，得到若干个文件大小为所述预设的文件大小的子文件，并根据所述数据节点信息将所述子文件分别写入至相应的数据节点。