[发明专利]数据获取方法、系统、装置、计算机设备和存储介质

说明书

本申请涉及一种数据获取方法、系统、装置、计算机设备和存储介质。该方法包括：调度器接收第一客户端发送的数据获取请求，若分布式镜像仓库中存在空闲的镜像缓存节点，则从空闲的镜像缓存节点中确定至少一个镜像缓存节点，调用至少一个镜像缓存节点从分布式镜像仓库中的分布式存储系统中，获取数据获取请求中的数据包标识对应的至少一个数据块，并将至少一个数据块组成数据包发送给第一客户端。在本方法中，基于分布式存储系统对各个镜像数据进行分块存储，实现服务能力和存储容量的水平扩展，解决单机存储容量问题，且，通过基于分布式存储系统部署多个镜像缓存节点，极大的减少分布式存储系统的带宽压力，缩短数据包的读取延迟。

技术领域

本申请涉及互联网技术领域，特别是涉及一种数据获取方法、系统、装置、计算机设备和存储介质。

背景技术

Linux容器(Linux containers，LXC)是一种内核虚拟化技术，可以提供轻量级的虚拟化，以便隔离进程和资源，现在比较成型的技术就是通过Docker容器技术来简化软件的部署和发布。容器技术的核心在于通过镜像将运行环境打包，在容器镜像的发布管理中，镜像仓库负责镜像的存储和分发。

现有技术基于Docker Registry开源私有镜像仓库、磁盘文件系统实现整个镜像文件的存储和分发，并对Docker Registry开源私有镜像仓库进行了扩展和增强，例如，VMware Harbor、Sonatype Nexus、SUSE Portus等镜像库。

但是，上述基于磁盘文件系统的镜像仓库，是以整个镜像文件为单位进行存储或分发，导致镜像仓库进程读取延迟大，无法满足高并发高吞吐镜像请求需要。

发明内容

基于此，有必要针对上述技术问题，提供一种能够减少读取延迟的数据获取方法、系统、装置、计算机设备和存储介质。

第一方面，提供一种数据获取方法，该方法包括：

接收第一客户端发送的数据获取请求；数据获取请求包括数据包标识；

若分布式镜像仓库中存在空闲的镜像缓存节点，则从空闲的镜像缓存节点中确定至少一个镜像缓存节点；

调用至少一个镜像缓存节点从分布式镜像仓库中的分布式存储系统中，获取数据包标识对应的至少一个数据块；分布式存储系统用于对各个镜像数据进行分块存储；

将至少一个数据块组成数据包发送给第一客户端。

在本实施例中，分布式存储系统用于对各个镜像数据进行分块存储，实现服务能力和存储容量的水平扩展，解决单机存储容量问题，且，通过基于分布式存储系统部署多个镜像缓存节点，极大的减少分布式存储系统的带宽压力，缩短数据包的读取延迟。

在其中一个实施例中，上述方法还包括：

若分布式镜像仓库中不存在空闲的镜像缓存节点，则根据数据包标识确定至少一个第二客户端；第二客户端为存储有数据包标识对应数据块的其他客户端；

从至少一个第二客户端中获取数据包标识对应的至少一个数据块；

将至少一个数据块组成数据包发送给第一客户端。

在本实施例中，调度器在镜像缓存节点占用的情况下，还可以从其他客户端节点进行数据包的获取，缩短数据包的读取延迟，从而满足高并发场景下的镜像操作。

在其中一个实施例中，上述方法还包括：

确定各镜像缓存节点的资源是否正在被调度；

若镜像缓存节点的资源未被调度，则确定镜像缓存节点为空闲的镜像缓存节点。