[发明专利]分布式文件系统数据导入方法及装置

说明书

技术领域

本发明涉及计算机技术领域，特别是涉及一种分布式文件系统数据导入方法及装置。

背景技术

目前，在当前的存储系统实践中，数据大多以业务为中心构建存储，因此，不同业务系统通常在存储上是隔离的，因而当需要在多个业务之间共享数据时，数据只能从某个文件系统传递或者复制到另一个文件系统内。上述过程是缓慢的，特别是当需要传递或者复制的数据规模巨大时。

为了解决这个问题，可以采用全局分布式文件系统来统一管理和存储所有下层的文件系统。而这种方法通常需要构建统一的名字空间，当下层的文件系统中已经保存了大量的数据时，构建全局文件系统的代价十分巨大，所有的元数据信息都需要重建，从而导致重建时间较长，影响了系统的可用性。

也就是说，当前在解决多个文件系统之间的数据共享问题时，通常采用数据复制的方法，通过一个可以同时访问多个文件系统的节点，将数据内容从要导出的文件系统中复制到内存，再传递、并写入到要导入的文件系统，这种方法会使数据内容在源文件系统、内存和目标文件之间多次复制。当需要共享的数据量很大时，这种方法会导致数据导入时间过长，从而影响了用户体验。

发明内容

本发明提供一种分布式文件系统数据导入方法及装置，以解决现有技术中或者由于大量数据复制或者在构建全局文件系统时所有的元数据信息都需要重建而导致的数据导入时间长的问题，以及可用性问题。

本发明提供一种分布式文件系统数据导入方法，包括：将数据内容存储在源文件系统和目标文件系统都能够访问的存储节点或者存储介质上；根据目标文件系统的存储格式，确定数据组织方式；根据源文件系统的元数据组织结构和/或用户要求，构建目标文件系统中元数据的元数据组织结构和索引节点；根据数据组织方式调整目标文件系统中元数据的存储信息，使元数据的存储信息正确的指向保存在存储节点或者存储介质上的数据内容；根据目标文件系统中的元数据从存储节点或者存储介质上读取相应的数据内容。

优选地，存储介质为可移动的存储介质。

优选地，根据目标文件系统中的元数据从存储节点或者存储介质上读取相应的数据内容之前，上述方法还包括：对数据内容进行完整性检验。

优选地，对数据内容进行完整性检验具体包括：对数据内容中的各个数据文件分别进行校验和计算，并验证述数据内容的完整性。

优选地，上述方法还包括：在创建目标文件系统的元数据后，对目标文件系统的元数据进行边界保护。

本发明还提供了一种分布式文件系统数据导入装置，包括：存储模块，用于将数据内容存储在源文件系统和目标文件系统都能够访问的存储节点或者存储介质上；确定模块，用于根据目标文件系统的存储格式，确定数据组织方式；构建模块，用于根据源文件系统的元数据组织结构和/或用户要求，构建目标文件系统中元数据的元数据组织结构和索引节点；调整模块，用于根据数据组织方式调整目标文件系统中元数据的存储信息，使元数据的存储信息正确的指向保存在存储节点或者存储介质上的数据内容；读取模块，用于根据目标文件系统中的元数据从存储节点或者存储介质上读取相应的数据内容。

优选地，存储介质为可移动的存储介质。

优选地，上述装置进一步包括：检验模块，用于对数据内容进行完整性检验。

优选地，检验模块具体用于：对数据内容中的各个数据文件分别进行校验和计算，并验证述数据内容的完整性。

优选地，上述装置进一步包括：边界保护模块，用于在确定模块、构建模块、以及调整模块创建目标文件系统的元数据后，对目标文件系统的元数据进行边界保护。

本发明有益效果如下：

通过只修改元数据信息的零拷贝技术方法实现数据的批量快速导入，解决了现有技术中在构建全局文件系统时所有的元数据信息都需要重建，从而导致重建时间较长，影响了系统的可用性的问题，能够减少因数据复制造成的资源、性能消耗，满足各种业务应用的需要。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是本发明实施例的分布式文件系统数据导入方法的流程图；