[发明专利]多个物理文件合并为一个逻辑文件的方法

说明书

技术领域

本发明属于计算机领域，主要关注增强文件的个性化存储和提高文件访问效率。

背景技术

很多应用中需要建立非常大尺寸的文件，例如TB级别的文件，但是往往单个物理存储介质本身就没有这么大的容量或者不允许单个文件具有这么大的尺寸（例如fat32文件系统最大支持的单个文件为2GB），因此需要将若干个物理存储介质上的物理文件数据合并为一个逻辑文件。另外，通过将一个大的文件分解为若干个部分存储在不同的存储介质上还有利于并行化访问文件的不同部分，提高计算机以及应用系统的性能。

已有的解决方案包括RAID技术、逻辑卷技术、LVM技术等，这些技术在数据块级别给出解决方案，实现一个逻辑文件分散在多个物理存储介质中的多个数据块中。

而本发明的原理不同于上述基于数据块级别技术，本发明基于已有的若干个文件系统基础上进一步建立逻辑文件，即基于文件系统级别，而不是数据块级别。

目前将一个文件分散为多个物理文件存储尚未有通用的解决方案，例如，一些数据库系统自己利用多个物理文件映射为一个数据库逻辑（或者表空间）文件。一般多依赖于具体的应用程序本身。

本发明基于文件系统给出一个将多个物理文件合并为一个逻辑文件的通用方法。

发明内容

本发明目的是为了增强文件的个性化存储和提高访问效率。本发明基于文件系统给出一个将多个物理文件合并为一个逻辑文件的方法，该方法具有通用性和广泛的适用性。

本发明给出的逻辑文件创建和管理方法，超越了单个存储设备的容量限制，也超越了单个物理文件系统的容量限制和单个物理文件的容量限制，并且可跨越本地存储设备的限制，通过网络实现将逻辑文件存储在网络环境下的多个存储设备中，从而构建足够大的逻辑文件，从而极大地方便地为上层应用程序提供构建大文件的统一方法，并可大大提高访问的并发效率。

1.多个物理文件合并为一个逻辑文件的方法，所述方法包括：

第1、当创建逻辑文件时，需在物理文件系统上建立逻辑文件以及“逻辑文件的主配置文件”，简称“主配置文件”。逻辑文件中指明逻辑文件类型和主配置文件信息。一个逻辑文件对应有一个“逻辑文件的主配置文件”，逻辑文件的主配置文件中记录逻辑文件的全局信息以及逻辑文件对应的多个物理文件在物理文件系统中具体目录信息；

第2、当打开逻辑文件时，获知逻辑文件中存储的主配置文件信息，然后读取主配置文件，以及进一步读取在主配置文件中列出的所有物理文件目录中所有物理文件的配置文件，简称“配置文件”。进一步在内存中建立“逻辑文件全局控制块”，“逻辑文件全局控制块”中包含一个“逻辑文件数据存储分布表”，“逻辑文件数据存储分布表”中记录逻辑文件的大小以及各离散数据段所对应的物理文件；

第3、当对逻辑文件写数据时，根据写访问请求的偏移量和长度，在内存中此逻辑文件的“逻辑文件数据存储分布表”中查找对应的一个或者多个物理文件实际偏移量和长度。

第3.1、若找到对应的一个或多个物理文件实际偏移量和长度，则将相应长度的数据依次写入一个或多个物理文件相应的偏移量所标明位置。若上述操作成功，写操作成功返回；否则写操作失败返回；

第3.2、若未找到对应的一个或多个物理文件实际偏移量和长度，则根据内存中此逻辑文件的“逻辑文件全局控制块”中给定的写目录集合和写策略，选择其中的物理文件系统目录，在此目录中建立一个新的物理文件以及新物理文件对应的配置文件，将待写入的数据写入新的物理文件中，并更新此物理文件对应的配置文件信息。若上述操作成功，则进一步更新内存中此逻辑文件的“逻辑文件全局控制块”信息，写操作成功返回；否则写操作失败返回；

第3.3、若写操作的部分数据找到对应的一个或多个物理文件实际偏移量和长度，写操作的另外一部分数据未找到对应的一个或多个物理文件实际偏移量和长度，则将此写操作分成若干个子的写操作。对于找到对应的一个或多个物理文件实际偏移量和长度的写操作数据，调用第3.1过程；对于未找到对应的一个或多个物理文件实际偏移量和长度的写操作数据，调用第3.2过程。若所有子的写操作都成功，则写操作成功返回；否则写操作失败返回；