[发明专利]一种高性能分布式容器镜像分发系统及方法

说明书

本发明公开了一种高性能分布式容器镜像分发系统及方法，该系统包括：主仓库模块、调度模块和节点处理模块。该方法包括：主仓库模块转发镜像拉取请求；调度模块分析得到待拉取文件清单并发送数据至节点处理模块；节点处理模块获取惊险分层文件并通过IB网络传输文件。通过使用本发明，减少容器镜像服务器的服务压力。本发明作为一种高性能分布式容器镜像分发系统及方法，可广泛应用于容器云计算领域。

技术领域

本发明涉及容器云计算领域，尤其涉及一种高性能分布式容器镜像分发系统及方法。

背景技术

容器作为一种轻量级、可移植、低成本的虚拟化处理方式，已经成为不少公司降低成本和提高效率的一种方式。启动容器需要硬盘中的容器镜像文件，在云原生场景下，则需要从容器镜像仓库中拉去这些镜像文件，当一个作业需要在多个节点上启动同一种容器时，这些节点都会向镜像仓库请求镜像文件，但镜像仓库节点出口带宽有限，因此该作业在各节点上的平均准备时间与该节点的部署规模呈线性关系。行业上已经存在一些用于优化该问题的方式，但是这些方法镜像层的下载都是基于HTTP的文件下载而本发明使用IB高速网络进行实际的镜像层下载，可以提供更大的下载速度；诸如alibaba的dragonfly需要修改每个docker节点的配置并重启docker守护进程，意味着需要停止当前任务；而本发明对容器引擎完全透明，可以做到热部署。而不少其他方法则是对docker的二次开发，并不能直接部署在docker集群上。

发明内容

本发明的目的是提供一种高性能分布式容器镜像分发系统及方法，解决在中心化的容器镜像仓库部署方式中，大规模启动docker容器集群时产生的集群平均准备时间随集群规模线性增长的问题。

本发明所采用的第一技术方案是：一种高性能分布式容器镜像分发系统，包括：

主仓库模块，用于接收容器镜像拉取请求并将该请求转发至调度模块，还作为镜像仓库存储容器镜像；

调度模块，包括分布式键值数据库，用于存储和更新系统的当前状态，根据镜像元数据找到镜像分层文件和空闲存储节点并发送到节点代理模块，所述系统的当前状态包括每个镜像的元数据、镜像分层文件的存储位置和每个节点当前的服务状态；

节点处理模块，用于根据调度模块发出的指令进行文件拉取并存储，还为其他节点提供镜像文件服务。

进一步，所述系统中各个节点之间的文件传输通过IB高速网络进行。

进一步，所述调度模块还包括日志子模块，所述日志子模块用于记录每一次的下载任务，并确定镜像分层文件在系统中的备份数量。

进一步，所述主仓库模块部署在镜像服务器上，所述调度模块部署在能被所有节点访问的机器上，所述节点处理模块部署在docker主机上。

本发明所采用的第二技术方案是：一种高性能分布式容器镜像分发方法，所述方法应用于权利要求1-4任一项所述的高性能分布式容器镜像分发系统，所述方法包括：

响应于用户操作，主仓库接收镜像拉取请求并转发；

根据主仓库模块转发的容器镜像拉取请求，调度模块分析得到待拉取文件清单并根据待拉取文件清单得到文件对应的备份节点；

将待拉取文件清单上的文件与对应的备份节点发送到节点处理模块；

根据调度模块发送的数据，节点处理模块获取得到镜像分层文件并通过IB网络下载对应文件；

文件下载完成后发送完成信号至调度模块并将文件保存在节点缓存；

调度模块将该节点添加到已完成拉取的文件的备份节点列表；

判断到该镜像的所有文件传输完成后，调度模块发送完成信号至主仓库模块；