[发明专利]面向电镜数据存储系统的文件元数据增量扫描方法与系统

权利要求书

1.一种面向电镜数据存储系统的文件元数据增量扫描方法，其特征在于，所述方法包括：

步骤A：提取第一元数据信息文件中每个文件的全路径信息，生成第一全路径信息集合，所述第一元数据信息文件用于保存文件系统数据文件的元数据信息；启动至少一个并行进程，获取文件系统中所有数据文件的全路径信息，生成第二全路径信息集合；

步骤B：对所述第二全路径信息集合和第一全路径信息集合做差集运算，得到待增全路径信息集合；对所述第一全路径信息集合和第二全路径信息集合做差集运算，得到待删全路径信息集合；

步骤C：获取所述待增全路径信息集合中的每个文件路径相关的元数据信息，并将所述元数据信息写入所述第一元数据信息文件；同时删除所述第一元数据信息文件中所述待删全路径信息集合相关的元数据信息。

2.根据权利要求1所述的方法，其特征在于，所述启动至少一个并行进程，获取文件系统中所有数据文件的全路径信息，生成第二全路径信息集合包括：

步骤A-1：启动M个进程，获取文件系统中所有数据文件的目录，生成第二目录集合；

步骤A-2：将所述第二目录集合中的目录分组，生成第二目录分组集合，所述第二目录分组集合包括N个目录分组G_i，其中i＝1,2,...,N；

步骤A-3：启动N个进程用于扫描所述N个目录分组中的文件路径信息，一个进程对应一个目录分组，得到所述第二目录集合对应的第二全路径信息集合；

其中，M、N的取值与文件系统剩余每秒进行读写操作的次数IOPS和进程平均IOPS相关。

3.根据权利要求2所述的方法，其特征在于，

所述步骤A还包括：提取第一全路径信息集合中的目录信息得到第一目录集合；

所述步骤A-2包括：

步骤A-21：对所述第一目录集合和所述第二目录集合做交集运算，得到第三目录集合，对所述第二目录集合和所述第一目录集合做差集运算，得到第四目录集合；

步骤A-22：将所述第三目录集合中的目录平均分配生成所述第二目录分组集合；

步骤A-23：将所述第四目录集合中目录随机分配到所述第二目录分组集合中。

4.根据权利要求3所述的方法，其特征在于，所述步骤A-22包括：

步骤A-221：计算所述N个进程中每个进程平均扫描的文件数量A，所述A＝T/N；所述T为所述第一全路径信息集合中的元素个数；

步骤A-222：初始化第二目录分组集合为空，所述第二目录分组集合包括N个目录分组G_i，其中i＝1,2,...,N；

步骤A-223：遍历所述第三目录集合中的每个目录FD_j，对每个目录FD_j执行步骤A-224，直到所述第三目录集合中所有的目录分配完成为止；

步骤A-224：对于每一个FD_j，遍历所述第二目录分组集合，若G_i需满足条件：G_i中所有目录包含的文件总数小于A，则将FD_j分配给目录分组G_i，同时结束本次FD_j对应的目录分组操作，返回所述步骤A-223。

5.根据权利要求1所述的方法，其特征在于，所述第一元数据信息文件中保存的每一个文件的元数据信息包括F和除F以外的其他信息，所述F表示文件全路径信息；

所述步骤A还包括：以所述第一全路径信息集合中的元素F为字典的键，以所述除F以外的其他信息为字典键对应的值构建字典变量MDict；

所述步骤C包括：

步骤C-1：删除MDict中的特定键对应的元素，所述特定键为所述待删全路径信息集合中的元素；

步骤C-2：将更新后的MDict中的元数据信息转换格式，写入所述第一元数据信息文件，并替换所述第一元数据信息文件的原内容；

步骤C-3：获取所述待增全路径信息集合中的每个文件路径相关的元数据信息，并将所述元数据信息追加写入所述第一元数据信息文件。