[发明专利]一种实现大规模容器快速部署的方法

说明书

本发明提出一种实现大规模容器快速部署的方法，采用块存储服务RBD将集群中所有镜像的数据存储于网络存储中，在所述RBD中,容器镜像以分层结构存储，每个镜像对应一个Ceph块设备，其中父镜像和子镜像之间的冗余数据被剔除，对父Ceph块设备做快照，然后克隆快照，生成与做快照时的父块设备相同的块设备作为子Ceph块设备，所述Ceph块设备的写时拷贝粒度是对象，所述对象为Ceph中的基本存储单元，容器部署的仓库仅作为一个元数据服务器，其中只存储了镜像列表、镜像的层次信息和镜像层与Ceph块设备之间的映射关系。

技术领域

本发明涉及一种文件管理方法，尤其涉及一种实现大规模容器快速部署的方法。

背景技术

容器技术能取得成功很大程度上归因于它在打包和部署应用方面带来的便利。一个应用所需要的二进制文件和所依赖的库文件都被打包到一个镜像中，保证了应用运行时环境的一致性，简化了部署工作。然而，随着镜像大小的增长，应用部署的效率也受到了不利影响。

图1展示了传统的容器部署架构，是个典型的中心化系统，镜像仓库在集群的镜像分发过程中扮演着中心的角色。Docker镜像由多个镜像层(layer)组成，每个镜像层代表着一个软件或者库的文件集合。所有的镜像层都以gzip压缩文件的方式存放在镜像仓库中，镜像元数据(image metadata)也存放于镜像仓库中。镜像元数据包含了镜像和镜像层之间的映射关系。为了能在集群中部署容器，工作节点必须拉取(pull)完整的镜像，然后将其存放在本地的写时拷贝(copy-on-write,COW)结构的存储中。工作节点的本地存储由存储驱动管理，代表性的存储驱动有Aufs、Devicemapper、Overlay和Overlay2。当镜像拉取完毕之后，存储驱动会在镜像之上再构造一个写时拷贝层，作为容器存储层。

现有技术的部署方式在性能上还远远不能满足需求。由同一局域网下的两台主机构成，分别是一个私有镜像仓库和一个工作节点，测试Docker Hub上下载量排名前69的镜像的部署时间。测试结果表明，容器的平均部署时间高达13.4秒。然而，有许许多多的场景对部署延迟有着很高的要求：为了应对突发流量，服务要迅速横向扩展；为了保证系统的高可用，应用需要尽快地从故障状态中恢复；在持续集成(Continuous Integration)的工作流中，缩短部署时间对提高生产效率来说也很重要。

现有技术例如并行下载和压缩数据可以加快拉取速度，然而拉取整个庞大的镜像依然是部署性能的短板。特别是在大规模容器的部署中，对于中央镜像仓库的竞争会进一步拖慢下载。为了解决这个问题，必须尽量减少部署过程中传输的数据量。

发明内容

本发明提出一种实现大规模容器快速部署的方法。本发明设置一个基于网络存储的Docker容器部署系统。所述方法能显著降低部署过程传输的数据量，进而大大加快容器部署速度。

本发明提出的一种实现大规模容器快速部署的方法，采用块存储服务RBD将集群中所有镜像的数据存储于网络存储中，在所述RBD中,容器镜像以分层结构存储，每个镜像对应一个Ceph块设备，其中父镜像和子镜像之间的冗余数据被剔除，对父Ceph块设备做快照，然后克隆快照，生成与做快照时的父块设备相同的块设备作为子Ceph块设备，所述Ceph块设备的写时拷贝粒度是对象，所述对象为Ceph中的基本存储单元，容器部署的仓库仅作为一个元数据服务器，其中只存储了镜像列表、镜像的层次信息和镜像层与Ceph块设备之间的映射关系。

附图说明

图1为现有技术的容器部署架构的整体框架图；

图2为现有技术中拉取和运行的效果图；

图3为本发明基于网络存储的容器部署结构图。

具体实施方式