[发明专利]一种基于重传─纠删码传输协议的远程镜像方法和系统

说明书

技术领域

本发明属于远程镜像技术领域，特别是一种远程镜像方法和远程镜像系统。

背景技术

在当今，数据容灾技术已变得愈发重要。特别是异地远程镜像技术，它在面对如火灾、地震、洪水等自然灾害时表现出的天然的优势引起了学术界和工业界越来越多的关注。

远程镜像技术应用在广域网环境下，故广域网的诸多特性很大程度上决定着其设计上的特点：1.RTT（Round Trip Time，两端往返时间）不可忽略，其通常可在100~500ms的范围内。2.存在着丢包的可能，研究表明大部分丢包率可在0%~1%内浮动。3.发送带宽受限，通常在0.01~600Mbps范围内。

为了节省网络带宽，可以采用压缩算法处理待发送至广域网内的数据，如LZW算法。为了保障数据在广域网传输过程中的网络安全，可以采用加密算法对待发送至广域网内的数据进行处理，如AES算法。然而，压缩、加密算法的引入必然带来不可忽略的计算开销，如果不能很好的进行优化，会导致整体系统性能的严重降低。

传统的远程镜像技术为了获得可靠数据传输，大多在传输层使用TCP，即两端依靠单纯的ARQ（自动请求重传）机制确保数据可靠性，接收端一旦发现丢包只能依靠发送端重传，这种设计有着一些致命的缺点：1.TCP实现本身比较复杂，它的实现会占用两端大量宝贵资源。2.当RTT较大且存在丢包时，一次重传会严重降低系统整体吞吐率。3.TCP无法支持多播的特性使得系统难以应用到存在多个备份中心的应用环境中。 

FEC（前向纠错码）技术的研究已有很长的历史，它的核心思想可概括为：在发送端将k块数据编码为n（n>k）块数据，在接收端，只要收到此n块数据中不同的k块数据，即可完成解码从而得到原始数据，即一种（n，k）的编码可容（n-k）个数据块丢失。FEC被应用于很多领域：特别是在通讯系统，可以使用专用的硬件设备处理复杂的基于有限域运算的Reed Solomon编码。然而，在计算机系统中，由于缺少了专用的硬件设备，高昂的编码计算代价使得FEC的应用难以普及。

发明内容

本发明目的是解决现有技术在广域网环境下效率低下的问题，提供一种基于Hybrid ARQ/FEC传输协议的远程镜像方法和远程镜像系统，该方法能够很好的处理负载均衡，提高整个系统的吞吐量，同时可以支持存在多个备份中心的应用。

本发明提供的基于Hybrid ARQ/FEC传输协议的远程镜像方法包括：

第1、生产中心对本地源卷的写请求进行截获，并复制写请求中的备份数据；

第2、生产中心将截获的写请求中的备份数据通过TCP传给同处在一个局域网内的计算中心；

第3、计算中心对收到的备份数据进行压缩和加密处理，采用Hybrid ARQ/FEC协议作为备份数据在广域网中的传输协议，将进行压缩和加密处理的备份数据发送到备份中心，既可以尽量避免重传又可以提供数据传输可靠性；

第4、备份中心对计算中心发送的备份数据进行解密、解压缩处理，最终写入磁盘作为备份。

第1步所述的生产中心对本地源卷的写请求进行截获是指在逻辑卷层对本地的写请求进行截获，即采用了工业界所谓的host-based（基于主站）的方法。此方法相比于其它截获写请求的方法（如在I/O  card截获、在SAN fabric截获、在磁盘阵列中截获），优势有：易于部署，成本低廉，适合中小企业、企业部门内部使用。

所述的计算中心是一个逻辑上的概念，可以为一个或多个物理上独立的计算节点共同构成，用于独立处理计算密集型的任务。 

因为生产中心和计算中心同处于一个局域网内部，而在局域网内很少发生丢包等现象，同时RTT一般较小，故优先采用TCP完成该传输。当然，也可以采用UDP协议完成此传输任务，但为了防止接收端（计算中心）接收缓冲区溢出造成的丢包，须在应用层采取相应机制保证数据传输可靠性，其基本逻辑和TCP的流量控制相仿。

计算中心采用线程级并行技术对压缩、加密处理进行优化，有各种策略，如：1.将压缩、加密流水线细分为粒度更细的子阶段，即细分流水线技术，此技术多见于硬件处理指令级并行，但由于计算中心的操作很难分为较多的子阶段，即使可分也很难合理分配各阶段任务，容易使各子阶段由于互斥形成大量空闲等待，浪费宝贵的CPU资源。 2.使用多线程对数据进行划分处理，将一批较大量的数据划分为多个小批量数据并行处理，该技术的好处是容易平分任务量，使各线程负载均衡，最大可能减少线程间空闲等待时间。