[发明专利]一种分布式的大文件快速下载方法及系统

说明书

本发明公开了一种分布式的大文件快速下载方法及系统，其中系统包括主节点装置、注册中心、存储装置和分布式下载装置，其中，所述主节点装置进一步包括大文件解析模块、下载任务分发模块、下载进度监听模块和合并文件模块；分布式下载装置包括监听下载任务模块和下载模块；大文件解析模块用于解析大文件的大小，根据下载装置的数量及带宽进行逻辑分片计算，将计算结果交由下载任务分发模块进行处理；下载任务分发模块用于将任务按照顺序发布至注册中心；下载进度监听模块用于监听大文件所有的下载任务情况；注册中心用于存储待下载任务及每个下载任务的结果，同时供监听下载任务模块、下载进度监听模块进行监听。

技术领域

本发明属于分布式软件技术领域，具体涉及一种分布式的大文件快速下载方法及系统。

背景技术

目前在处理TB/PB级大文件业务场景，例如大型日志文件下载分析、城市监控视频下载压缩剪辑、4K/8K视频下载转码时，为了提升大文件下载速度基本是单机多线程下载，此方法较普通单机单线程下载有一定的速度提升，但是受限于单机带宽的大小，导致单机下载始终存在瓶颈。

发明内容

本发明要解决的技术问题是提供一种分布式的大文件快速下载方法及系统，可以在多台机器上进行分布式下载，用来提高下载的总带宽，解决单机带宽限制的问题。

为解决上述技术问题，本发明采用如下的技术方案：

本发明实施例的一个方面提供了一种分布式的大文件快速下载系统，包括主节点装置、注册中心、存储装置和至少一台分布式下载装置，其中，所述主节点装置进一步包括大文件解析模块、下载任务分发模块、下载进度监听模块和合并文件模块；分布式下载装置包括监听下载任务模块和下载模块；

大文件解析模块用于解析大文件的大小，根据下载装置的数量及带宽进行逻辑分片计算，将计算结果交由下载任务分发模块进行处理；下载任务分发模块用于将任务按照顺序发布至注册中心；下载进度监听模块用于监听大文件所有的下载任务情况；

注册中心用于存储待下载任务及每个下载任务的结果，同时供监听下载任务模块、下载进度监听模块进行监听；

监听下载任务模块用于自动监听及读取注册中心中的新任务，读取成功后将待下载任务节点交由下载模块处理，同时在注册中心中把该待下载任务节点信息删除，将该待下载任务节点存储至注册中心的下载中任务节点下，最后标识该任务的状态及所属下载装置信息，用于下载装置网络异常或宕机时进行下载任务转移；

下载模块用于根据分片的信息进行指定内容的下载，下载完成后将该分片任务在注册中心中进行状态修改，再进行删除任务信息，然后将包括下载后的位置信息写入注册中心的已完成任务节点下，用于合并文件使用；

合并文件模块用于根据分片下载任务的序号进行顺序追加，合并成一个完整的文件信息；

存储装置挂载于整个系统，用于分片文件及最终合并后的文件存储。

优选地，待下载任务节点由下载任务分发模块创建，由监听下载任务模块读取和删除。

优选地，下载中任务节点由监听下载任务模块创建，由下载模块删除，由下载进度监听模块读取。

优选地，已完成任务节点，由下载模块写入，由下载进度监听模块读取，由合并模块删除。

优选地，分片个数为：文件总大小/下载机器平均下行带宽/8。

本发明实施例的又一方面提供了一种分布式的大文件快速下载方法，应用于包括主节点装置、注册中心、存储装置和至少一台分布式下载装置的下载系统，所述主节点装置进一步包括大文件解析模块、下载任务分发模块、下载进度监听模块和合并文件模块，分布式下载装置包括监听下载任务模块和下载模块，包括以下步骤：