[发明专利]一种高速对象并行存储系统目录复制方法

说明书

技术领域

本发明涉及对象并行存储系统的性能优化方法，尤其是高速目录复制方法。

背景技术

并行存储系统是大规模并行计算机系统中的重要组成部分，对象并行存储系统是一 种并行存储结构。如图1所示，对象并行存储系统由一个元数据服务器(简称MDS)、 多个对象存储服务器(简称OST)和多个客户结点(简称CN)通过网络互连构成。元 数据服务器和多个对象存储服务器为客户结点提供数据读写、数据存储等文件访问服 务。元数据服务器为客户结点提供元数据服务，是对象存储系统所特有的。元数据描述 每个文件的所有者、创建时间、修改时间、文件大小以及文件在对象存储系统上的分布 等信息。对象存储服务器负责保存文件的具体数据，并在元数据服务器的管理下向客户 结点提供文件访问服务。客户结点的文件访问请求首先提交给元数据服务器，获取文件 分布信息，然后根据分布信息向相关的对象存储服务器提交访问请求，完成数据读写过 程。对象存储系统充分利用高带宽网络以及存储访问的并发性，为并行应用提供较高的 数据访问带宽，已广泛应用于世界超级计算机排名前十的计算机系统中。目录复制是并 行存储系统为客户结点提供的基本功能之一，客户结点将文件目录及目录下的所有文件 从并行存储系统的一个位置复制到另外一个位置。

目前通常的对象并行存储系统目录复制方法是集中式方法，客户结点管理所有的复 制过程。用户在客户结点提交操作系统的标准目录复制命令cp，客户结点从源对象存 储服务器逐个读取目录下的文件到本地内存，然后将文件写入目标对象存储服务器。所 有的复制过程都经过客户结点，客户结点成为性能瓶颈。没有其它公开文献涉及对象并 行存储文件系统的目录复制方法。

当前的对象并行存储系统的存储容量达数百T以上，文件的数量达数百万以上，同 时在线的文件系统客户端达数千。集中目录复制方法的时间和通信开销很大，新型的高 速目录复制方法是本领域技术人员极为关注的技术问题。

发明内容

本发明要解决的技术问题在于：针对对象并行存储系统的目录复制集中在客户结点 实施，串行化过程导致时间开销大，数据复制过程需经过客户结点中转导致客户结点成 为通信瓶颈等问题，提出并行化的高速目录复制方法。为了解决上述技术问题，本发明 的技术方案为：构建目录复制系统，将目录复制任务分解为多个文件的复制任务，然后 将文件复制任务分发到多个对象存储服务器并行执行，文件直接从源对象存储服务器复 制到目的对象存储服务器，无需客户结点中转。

具体技术方案为：

第一步，构建目录复制系统，目录复制系统是部署在对象存储系统上的目录复制软 件。目录复制系统由目录复制任务管理模块、负载分配模块、文件复制执行模块组成， 其中目录复制任务管理模块和负载分配模块部署在客户结点上，文件复制执行模块部署 在所有的对象存储服务器上。目录复制任务管理模块负责接收目录复制命令，递归解析 目录复制命令为普通目录复制命令，创建目标目录，向负载分配模块下达普通目录复制 命令。负载分配模块负责接收普通目录复制命令，根据普通目录复制命令生成文件复制 命令，检索源文件所在的对象存储服务器，将文件复制命令下达给源文件所在的对象存 储服务器上的文件复制执行模块。文件复制执行模块接收文件复制命令，确定目标文件 所在的对象存储服务器，执行文件复制操作。目录复制命令为操作系统提供的基本文件 操作命令，将源目录下的所有文件和子目录均复制到目标目录，命令格式为cp srcdirA  destdirB。一个文件目录包括文件和子目录，子目录下也可以包含文件和下级子目录。 普通目录复制命令是本发明定义的特有文件操作命令，仅将源目录A下的所有文件复 制到目标目录B，不复制源目录A下的子目录，命令格式为localcp srcdirA srcdirB。 srcdirA和srcdirB均为绝对路径。绝对路径指文件系统中访问目录或者文件的完整路径。

第二步，目录复制任务管理模块部署在客户结点，接收用户提交的目录复制命令 cp srcdirA destdirB。设定输入参数为srcdirA和srcdirB，调用目录复制过程DirCopy进 行目录复制。

目录复制过程DirCopy为一个递归调用过程。输入参数为SRCDIR和DESTDIR， 其中SRCDIR为源目录，DESTDIR为目标目录。目录复制过程DirCopy的流程如下：

2.1、如果目标目录不存在，则创建目标目录DESTDIR。