[发明专利]一种基于分布式存储的数据复制卸载方法及终端设备

说明书

本发明公开一种基于分布式存储的数据复制卸载方法及终端设备，该方法包括：存储网关收到数据复制指令，获取指令对应源、目的卷元数据信息，解析出相应对象信息和对象主存储节点信息，把数据复制信息发给源对象主存储节点；源对象主存储节点从本地磁盘读取复制数据，封装成写请求发给目的对象主存储节点；目的对象主存储节点完成写入操作，回复响应给源对象主存储节点；源对象主存储节点收到响应后给存储网关回复完成响应；存储网关完成所有数据复制后给客户端回复完成响应。本发明把数据复制操作从客户端和网关侧下移到分布式存储集群，能减少客户端和网关侧带宽压力，提高数据复制并发度和性能；减少虚拟化软件管理程序资源消耗和复制时延。

技术领域

本发明涉及分布式存储领域，特别是涉及一种基于分布式存储的数据复制卸载方法、终端设备及计算机可读存储介质。

背景技术

分布式存储系统(Ceph)将上层业务数据切割成一个个独立的对象，保存在一个由若干服务器组成的集群中；分布式存储系统同时支持对象存储、块存储和文件系统。其中主要组件有：(1)RBD:RADOS Block Device，对外提供的块设备服务(类似于提供一块硬盘，即卷)；RBD会按固定大小(默认4MB)将卷进行切块，并根据块偏移、卷名等元数据对块进行命名，即对象(每一小块就是一个对象)，存储到分布式集群中，实现从卷操作到对象操作的转换。(2)RADOS:Reliable Autonomic Distributed Object Store，可靠自主的分布式对象存储，是集群的统一抽象层，所有接口的数据经过这层处理后就以对象的形式存储在集群中。(3)OSD:Object Storage Device，对象存储设备,负责处理客户端读写请求的守护进程/程序，一个OSD进程通常管理一块磁盘。(4)librados:提供上层访问可靠自主的分布式对象存储集群的各种库函数接口，封装了与可靠自主的分布式对象存储层交互的接口。

分布式存储系统的读写流程概述如下，以写流程为例，假设为保证数据安全和一致性，采用传统的三副本策略对数据进行保护：参考图1。(1)用户直接读写存储网关映射出来的卷，读写请求中包含操作的偏移和长度；(2)存储网关RBD层根据RBD元数据，结合对卷写请求的偏移和长度，解析出相应对象信息；(3)Librados将相应对象操作封装为RADOS的对象操作请求；(4)根据对象名称和RADOS寻址算法找得到保存对象数据的三个OSD；(5)将对象的写请求发送给主OSD进行处理，主OSD进行数据封装后再发送给从OSD；(6)主OSD根据对象名称和OSD元数据找到对象在硬盘上的位置，并将对象数据写入硬盘；(7)根据RADOS的副本策略和RADOS的寻址算法，主OSD2将副本分别发送给从OSD1和OSD3；(8)从OSD将数据写入本地磁盘后，给主OSD回复响应；(9)当所有OSD写处理完成时，依次逆序回复完成确认消息给上级。

主要根据功能，将Ceph RBD分层架构(layering)划分为librbd(Ceph块设备接口库)、cache(缓存层)、objecter(对象接口层)和librados(RADOS接口库)四个层次。参考图2，librbd对上层用户封装符合Linux块设备标准的卷接口，供用户操作，快照和克隆卷也是在librbd抽象的；cache层主要是为了提高读写性能，负责数据缓存；objecter负责将数据操作封装成符合分布式存储Ceph集群的对象操作；librados负责真正与分布式存储集群进行业务交互。基于RBD的分层架构，RBD创建克隆卷时，采用写时复制机制(COW,copy onwrite)；以实现快速创建卷。限制条件是只能基于快照创建克隆卷，形成快照和克隆卷的父子关系，共享相同的对象数据。

指定数据集合的一个完全可用拷贝，该拷贝包括相应数据在某个时间点(拷贝开始的时间点)的镜像，只能读取。参考图3，快照(snapshot)可以是其所表示的数据的一个副本，也可以是数据的一个复制品。