[发明专利]一种提高文件系统性能的聚合模式

说明书

本发明公开了一种提高文件系统性能的聚合模式，聚合模式不是通过生成一个临时的大文件，而且通过拼接文件头信息，依次读取各个小文件，当成一个大文件上传，从而避免一次的写文件到磁盘的操作和后续的一次读取文件的操作，聚合文件的头部保存该聚合文件中所有文件的数据库信息，当归档系统的元数据库损坏，根据聚合文件的文件头部信息来恢复数据库信息，需要把备份文件恢复的时候，不是读取整个聚合文件，恢复所有聚合文件，而是单独恢复聚合文件中的某一个小文件，避免系统资源浪费和需要长时间进行恢复，把所有文件对应的元数据库信息记录到文件的头部，避免在恢复数据库的时候，去读取整个聚合文件，只需要读取文件头部。

技术领域

本发明涉及大数据存储领域，具体是一种提高文件系统性能的聚合模式。

背景技术

蓝光设备通过把数据刻录到蓝光光盘上，从而实现保存数据10年以上，而不需要人工干涉。而且由于蓝光光盘的存储量大，可以实现数据的大量和长时间保存。

云平台是通过对外提供对象存储的使用方式提供存储服务。数据文件是保存到磁盘上面。归档系统在后台自动运行，根据用户配置的规则，在符合条件的情况下，把文件自动备份到蓝光设备上面。

归档系统就是运转在云平台后端的一个慢速备份软件。它实现了把磁盘上面的文件备份到蓝光设备，并且在需要该文件的时候可以进行恢复。

用户上传的文件的大小范围基本没有限制，可能只有几个字节，也可能上百G，几十T的大小。

蓝光设备有2个物理要求：蓝光设备要求上传的文件在256MB到5GB之间，蓝光设备刻录的次数物理特性要求7000次以内。而且数据文件在大约4GB的范围上传到蓝光设备的速率是最高的。

基于以上这些蓝光设备的要求，归档系统必须使用聚合模式：把大量的小文件聚合成大约4G的大文件，然后再通过网络接口备份到蓝光设备上面。有益的地方有3个：1.提高文件在网络上面传输的速率；2.减少蓝光设备上面刻录的次数，延迟设备寿命；3.减少蓝光设备上面一个卷下面文件的数量，提高蓝光设备效率。

发明内容

本发明的目的在于提供一种提高文件系统性能的聚合模式，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种提高文件系统性能的聚合模式，其具体步骤如下：

(1)聚合模式系统内依次设置有数据库、压缩单元、聚合存储单元、蓝光设备系统、读取单元和数据库更新单元，且读取单元内读取的系统数据反馈到聚合存储单元；

(2)归档系统内设置有归档任务库和恢复任务库。

作为本发明进一步的方案：所述步骤(1)中的数据库内存储有需要聚合的文件，通过扫描数据库，获得需要进行归档的文件集合。

作为本发明进一步的方案：所述步骤(1)中的压缩单元对需要进行压缩的文件进行压缩操作。

作为本发明进一步的方案：所述步骤(1)中的聚合存储单元内文件的聚合模式不是通过生成一个临时的大文件，而且通过拼接文件头信息，依次读取各个小文件，当成一个大文件上传，从而避免一次的写文件到磁盘的操作和后续的一次读取文件的操作，聚合文件的头部保存该聚合文件中所有文件的数据库信息。这个技术的实质相当于把所有的文件信息，所有的文件内容依次读取一个大块的内存中，然后把这块内存当成一个大的临时的聚合文件上传到蓝光设备。

作为本发明进一步的方案：所述步骤(2)中的恢复任务库当文件需要恢复时，根据对象的信息查找归档任务库的元数据库，得到保存到蓝光设备系统上面文件的信息：蓝光设备系统的IP，卷，文件名称，在聚合文件中的偏移量，文件大小，以及该文件在聚合文件中是否压缩过，根据蓝光设备上面的信息，以及在聚合文件中的偏移，单独读取该段子文件，根据是否压缩过，进行解压操作，恢复成原来文件。