[发明专利]一种消冗文件系统及其数据部署方法

说明书

技术领域

本发明属于数据存储领域，涉及重复数据删除技术及NFS共享结合，具体涉及一种消冗文件系统及其数据部署方法。

背景技术

互联网时代，数据爆炸增长的时代，数据存储的压力越来越大的同时，对于系统的读、写性能要求也越来越高，随着重复数据删除技术日出成熟，应用也越来越广泛，NAS中的NFS共享功能的性能要求也同样是越来越高。

对于后端接入重复数据删除系统的NFS共享功能，虽然有了数据存储能力的显著提升，但是，同时也是牺牲了很大性能，这样极大的降低了用户的体验效果。

重复数据删除系统和NFS结合存在性能问题主要是因为数据传输为异步形式，这样就导致了重复数据删除系统数据收取时接收到随机位置的数据块，为了保证写入顺序需要在内存中全部保存，直到数据块依次收取并保存下来，系统内存才得以释放，由于内存有限，如果积压数据块较多则会导致大量数据被迫写入到交换分区，这样会大大降低系统的性能。

发明内容

本发明的目的是为了解决上述问题，提供一种消冗文件系统及其数据部署方法，能够降低数据写入时数据块积压的方案，尽快释放有限的内存，提高系统性能的重复数据删除系统的数据块存储布局方式。

一种消冗文件系统的数据部署方法，具体步骤如下：

步骤1：重复数据删除文件系统接收NFS协议写入的数据流；

步骤2：将步骤1接收到的数据流根据协议分块；

步骤3：将分好块的数据分配到对应的数据域的队列；

步骤4：判断数据域是否出现局部顺序，如果局部连续进入步骤5，否则进入步骤6；

步骤5：将数据块写入局部数据域；

步骤6：判断局部数据域的数据是否超出了预定值，如果超出进入步骤5，否则进入步骤7；

步骤7：判断是否符合文件系统预读逻辑顺序，如果符合则进入步骤5，否则进入步骤8；

步骤8：判断缓存是否超出了阈值，如果超出则进入步骤5，否则进入步骤9；

步骤9：将数据块缓存到对应的局部数据域的缓存队列。

一种消冗文件系统，包括文件系统数据接收模块，数据分块模块，数据块管理模块，数据块存储模块，数据块索引存储模块；

所述文件系统数据接收模块接收NFS协议传输过来的数据流；

所述数据分块模块将接收到的数据流切分成数据块；

所述数据块管理模块将切分好的数据块分配到数据域的数据块队列，然后再判断数据块在数据域内部是否严格顺序或者满足操作系统预读的逻辑顺序，根据内存管理模块判定规则决定数据块是继续缓存还是写入数据文件内；

所述数据存储模块根据数据块管理模块分配的任务来对数据块进行存储；

所述数据块索引存储模块根据数据块存储模块生成的数据块索引；

所述的数据块管理模块包括数据域分配模块，数据块队列缓存模块，数据块局部顺序判断模块，内存管理模块；

所述数据域分配模块是指根据所收到的数据块的全局序号和数据域分配规则来对数据块进行数据域分配，数据块为变长；

所述数据块队列缓存模块对于数据域分配模块生成的镜像队列，用来缓存被判断为非顺序的数据块；

所述数据块局部顺序判断模块通过数据块的全局序号和其所在队列的被标记为入库的序号比对，如果满足严格顺序或者是相对顺序的则交由内存管理模块根据阈值确定是缓存还是强行写入数据文件；

所述内存管理模块对消冗文件系统内全部数据块缓存域缓存空间申请释放管理的功能，保证写入数据块的顺序性的同时兼顾系统性能。

本发明的优点在于：

本发明通过对乱序的数据块进行了局部分区域排序处理，尽可能早的数据块顺序写入，降低了数据块积压，提前释放了内存，提高了系统的写入性能。对于重复数据删除在NFS共享结合上的应用又深入了一层，使NAS中NFS共享功能的应用场景和应用前景有了进一步的扩大。

附图说明

图1为本发明具体实施的一种消冗文件系统的数据部署方法的流程图；

图2为本发明具体实施的一种消冗文件系统结构框图。

图中：

1-文件系统数据接收模块 2-数据分块模块3-数据块管理模块

4-数据块存储模块 5-数据块索引存储模块

数据域分配模块31 数据块队列缓存模块32数据块局部顺序判断模块33

内存管理模块34

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。