[发明专利]一种分片传输方法、装置、电子设备及可读存储介质

说明书

本发明提供一种分片传输方法、装置、电子设备及可读存储介质，涉及数据传输技术领域。该分片传输方法包括接收分片文件，分片文件至少包括编号信息；在编号信息不包括第一请求信息的情况下，存储分片文件；第一请求信息用于指示分片文件为最后一个分片文件；当存储的分片文件的数量等于预设阈值时，对分片文件进行聚合；将聚合后的分片文件写入文件系统。本发明提供的技术方案解决了现有的方法在执行分片传输时，文件分片长时间占用了服务器的内存，严重地浪费了服务器的内存空间的问题。

技术领域

本发明涉及数据传输技术领域，尤其涉及一种分片传输方法、装置、电子设备及可读存储介质。

背景技术

随着网络技术的发展，用户可以在集群环境上做文件的分片上传。目前，在集群环境上做文件的分片上传时，采用的方式是，在客户端将分片全部传输到服务器之后，由客户端发起一个聚合指令完成聚合，这样，会导致文件分片长时间占用了服务器的内存，严重地浪费了服务器的内存空间。

发明内容

本发明实施例提供一种分片传输方法、装置、电子设备及可读存储介质，以解决现有的方法在执行分片传输时，文件分片长时间占用了服务器的内存，严重地浪费了服务器的内存空间的问题。

第一方面，本发明实施例提供了一种分片传输方法，应用于服务器，包括：

接收分片文件，所述分片文件至少包括编号信息；

在所述编号信息不包括第一请求信息的情况下，存储所述分片文件；所述第一请求信息用于指示所述分片文件为最后一个分片文件；

当存储的所述分片文件的数量等于预设阈值时，对所述分片文件进行聚合；

将聚合后的分片文件写入文件系统。

可选地，所述方法还包括：在所述编号信息包括所述第一请求信息的情况下，将所述分片文件直接写入所述文件系统。

可选地，在存储所述分片文件之后，在存储的所述分片文件的数量等于预设阈值时，对所述分片文件进行聚合之前，所述方法还包括：

生成异步线程；

所述当存储的所述分片文件的数量等于预设阈值时，对所述分片文件进行聚合包括：

在所述异步线程内为所述分片文件分配一个分布式排他锁；

当所述分片文件的数量等于预设阈值时，基于所述分布式排他锁对所述分片文件进行聚合。

可选地，所述当所述分片文件的数量等于预设阈值时，基于所述分布式排他锁对所述分片文件进行聚合，包括：

基于所述编号信息判断所述分片文件是否为首个分片；

在所述分片文件是首个分片的情况下，创建对应于所述分片文件的目标文件夹，并将所述分片文件写入所述目标文件夹中；

当所述目标文件夹中的所述分片文件的数量等于预设阈值时，基于所述分布式排他锁对所述分片文件进行聚合。

可选地，所述基于所述编号信息判断所述分片文件是否为首个分片之后，所述方法还包括：

在所述分片文件不是首个分片的情况下，获取已经写入目标文件夹的分片文件的目标编号信息；

以所述目标编号信息的编号值为起始值，以所述分片文件的编号信息的编号值为终止值，计算待写入编号值，将所述待写入编号值对应的分片文件写入所述目标文件夹。

可选地，所述分片文件还包括标识信息；

所述获取已经写入目标文件夹的分片文件的目标编号信息，包括：

基于所述标识信息获取已经写入目标文件夹的分片文件的所述目标编号信息。