[发明专利]一种基于分布式存储系统的碎片文件存储方法

权利要求书

1.一种基于分布式存储系统的碎片文件存储方法，其特征在于，包括如下步骤：

在存储节点的内存中分配一碎片文件映射空间，所述碎片文件映射空间是连续的；

在存储节点中，根据预设的阈值对若干源文件进行判断，若某一源文件的大小小于所述阈值，则该源文件即为碎片文件，经判断后得到若干碎片文件；其中，每个源文件都预设有一个对应的源文件编号；

将若干碎片文件连续的映射到所述碎片文件映射空间中，合并成为大文件；当所述大文件的大小达到所述阈值时，当前大文件的合并结束，若还有剩余的碎片文件，则按照上述步骤继续合并，从而得到若干大文件；在合并的同时，为每个大文件分配一个对应的大文件编号；根据需要决定各大文件在所述碎片文件映射空间与磁盘之间的交换；

将所述碎片文件对应的源文件编号转换为大文件编号加相应的偏移。

2.根据权利要求1所述的一种基于分布式存储系统的碎片文件存储方法，其特征在于，所述阈值等于文件簇的大小。

3. 根据权利要求1所述的一种基于分布式存储系统的碎片文件存储方法，其特征在于，所述碎片文件映射空间采用非交换内存。

4. 根据权利要求3所述的一种基于分布式存储系统的碎片文件存储方法，其特征在于，还包括如下步骤：

为每个大文件预设优先级，根据所述优先级决定所述大文件在所述碎片文件映射空间与磁盘中之间的交换。

5.根据权利要求4所述的一种基于分布式存储系统的碎片文件存储方法，其特征在于，所述优先级根据如下标准设定：文件访问的频繁程度，或者最后一次访问的时间，或者历史访问记录加权。

6.根据权利要求3-5任一项所述的一种基于分布式存储系统的碎片文件存储方法，其特征在于，所述大文件在碎片文件映射空间与磁盘之间的交换策略包括：需要时才交换；系统空闲时交换；换出但不立即释放；碎片文件映射空间已满时换出。

7.根据权利要求1所述的一种基于分布式存储系统的碎片文件存储方法，其特征在于，在所述存储节点内设置碎片文件指针列表、大文件空闲指针列表以及当前指针列表；其中，所述碎片文件指针列表记录各大文件中碎片文件的起始地址及偏移，所述大文件空闲指针列表记录各大文件中空闲的地址及偏移，所述当前指针列表记录所述大文件中当前的读写的地址。

8. 根据权利要求1所述的一种基于分布式存储系统的碎片文件存储方法，其特征在于，利用客户端应用程序向路由器上传所述源文件，利用所述路由器为每个源文件分配一个对应的源文件编号，再将所述源文件分配到相应的存储节点。

9. 根据权利要求8所述的一种基于分布式存储系统的碎片文件存储方法，其特征在于，在所述路由器中设置一请求表，所述请求表用于记录源文件编号；所述步骤S4进一步包括：所述存储节点返回数据给路由器，路由器将请求表中的所述碎片文件对应的源文件编号转换为大文件编号加相应的偏移。

10. 一种采用权利要求1所述的基于分布式存储系统的碎片文件存储方法的存储节点，其特征在于，包括：

碎片文件判断单元，用于根据预设的阈值对若干源文件进行判断，若某一源文件的大小小于所述阈值，则该源文件即为碎片文件，经判断后得到若干碎片文件；

碎片文件映射空间，用于将若干碎片文件连续的映射到所述碎片文件映射空间中，合并成为大文件；所述碎片文件映射空间为连续的内存空间。

11.根据权利要求10所述的存储节点，其特征在于，还包括：

碎片文件元数据单元，用于管理记录碎片文件与大文件对应关系的元数据；

内存映射空间元数据单元，用于管理记录碎片文件映射空间与内存之间的对应关系的元数据。

12. 根据权利要求10或11所述的存储节点，其特征在于，还包括：

指针列表单元，用于管理碎片文件指针列表、大文件空闲指针列表以及当前指针列表；其中，所述碎片文件指针列表记录各大文件中碎片文件的起始地址及偏移，所述大文件空闲指针列表记录各大文件中空闲的地址及偏移，所述当前指针列表记录所述大文件中当前的读写的地址。

13.根据权利要求10或11所述的存储节点，其特征在于，还包括：

内存交换控制单元，用于管理各大文件在所述碎片文件映射空间与磁盘之间的交换。