[发明专利]用于数据传送优化的方法和系统

说明书

技术领域

本发明涉及用于优化源实体和目标实体之间的数据传送的装置、系统和方法。

背景技术

组织机构正在运行越来越复杂的计算机系统。例如，仅具有位于单个场所的30个雇员的小型企业可能用单个服务器运行一个或两个网络。雇员可能具有由不同的OEM制造、且使用不同的操作系统的不同工作站或计算机。由不同雇员创建和操纵的数据类型将取决于其角色以及其使用的软件而变化。

由于IT系统的需求有机地增长，因此工作站、网络、服务器和存储设备的数量增加。此外，在组织机构中使用的OEM产品和IT系统中存在增加的变化。在具有遍布许多场所的数以千计的雇员的较大组织机构中，场所内和场所之间两者在硬件和软件中都存在相当大的变化。此外，数据保持和保护策略在场所之间以及在场所中（或之间的）的部门之间可能变化。因此，当IT基础架构更新时，变得越来越难以管理从遗留硬件到替换设备的数据传送。

典型地，由组织机构存储的所有（或至少所有重要的）信息在夜间或以其它固定间隔进行备份。存在两个备份数据的主要理由。第一个理由是在丢失后恢复数据。第二个理由是允许根据用户定义的保持策略从较早的时间恢复数据。因此，被备份的数据通常将被给予有效期限，设定该被备份的数据的副本应当保持的时间。

由于必须对计算机系统上值得保存的所有数据进行至少一个复制，因此存储需求可以是非常大的且备份系统可以是非常复杂的。使复杂度增加的是，存在对于进行备份有用的存储数据的许多不同类型、许多不同的备份模型、许多不同的访问类型以及备份解决方案的许多不同提供者。

简要地，备份可以是非结构的，其通常是文件系统类型备份，其中在介质或一系列介质上进行数据的备份，具有关于备份什么以及何时备份的最少信息，以及备份可以是结构的，其通常使用诸如SQL、Orable和BD2的产品特定格式。

不论是结构的还是非结构的，备份可以是：完全的，其中在不同时间点制作完整系统映像；增量的，其中数据被组织为不同时间点之间的变化的增量；逆增量（reverse delta），其中最近源数据的镜像与最近镜像和较早状态之间的一系列不同一起保存；以及连续的，其中立即存储数据的所有改变。

除此之外，可使用各种介质存储数据，该各种介质包括磁带、硬盘、光存储器、软盘和固态存储器。典型地，一个企业会保持其自身的备份介质设备，但是远程备份服务正变得更加普遍。

使复杂性进一步增加一层的是，备份可以是：在线的，其中使用内部硬盘或盘阵列；近线的，诸如磁带库，具有机械设备以将介质单元从存储器移动到可以读/写该介质的驱动器；离线的，其中需要直接的人的行为以使得能够物理地访问存储介质；异地的；或在灾难恢复中心。

此外，不同的备份提供者使用专有的系统用于组织备份。这些系统可以不同地处理文件的复制或部分复制；并且其可以不同地复制文件系统，例如通过使文件系统转储（dump）或通过询问归档位（archive bit）或通过使用版本管理（versioning）文件系统。其还可以以不同的方式处理实时数据的备份。除了复制文件数据之外，备份系统通常会复制计算机系统的元数据，诸如系统描述、引导扇区、分区布局、文件元数据（文件许可、所有者、组等），以及系统元数据（由于不同的操作系统具有不同的存储配置信息的方式）。

除此之外，不同的备份提供者经常操纵正被备份的数据以优化备份速度、恢复速度、数据安全性、介质利用率以及带宽需求。这些操纵可以涉及压缩、重复以及去重复（deduplication）、加密、复用、重分解（refactoring）和分级，并且在不同产品和不同供应商之间变化。

显而易见的是，当使用多个不同的备份系统时，会非常难以适当地管理数据从遗留、低效的磁带基础架构到现代、更高效的基础架构的迁移。

当涉及移动性时，处理大和复杂的数据集带来了许多挑战。在由传统备份服务器和数据索引管理的企业磁带环境中，可以容易地存在高等级的竞争和性能瓶颈。这是由于在分离的备份系统之间共享具有对数据的直接访问的存储资源。这些备份系统会在它们需要时访问资源，而不了解来自其它供应商的其它管理服务器实际正在做什么。因此，可能由两个分离器请求者（例如，备份服务器）同时请求磁带库、可用的磁带驱动器或单个介质。这导致挂起进程有效地等待基础架构变成可用以服务第二数据请求。即使存在可用的基础架构以访问符合条件的数据的不同块，也会发生这种情况。