[发明专利]一种对称分布式文件系统的元数据日志更新方法

说明书

本发明公开一种对称分布式文件系统的元数据日志更新方法，包括：在对称分布式文件系统中的块节点的本地文件系统执行文件操作前，为该文件的元数据创建具有唯一序列号的文件操作的日志记录并将操作码和参数写入日志记录；本地文件系统执行文件操作；之后，将执行文件操作后文件的属性信息和完成标志写入日志记录；在本地文件系统从异常故障中恢复后扫描各日志记录，对于未写入完成标志的日志记录：根据该日志记录中的操作码和参数与文件当前的属性信息进行比对，以确认对应的文件操作是否完成，若完成则将完成标志写入该日志记录，若未完成则删除该日志记录。本发明可在对称分布式文件系统服务端构建完整有效精简的文件的元数据的日志记录。

技术领域

本发明涉及数据管理技术领域。更具体地，涉及一种对称分布式文件系统的元数据日志更新方法。

背景技术

目前在存储领域，主流的分布式文件按照有无元数据服务器(集群)可以分为非对称分布式文件系统(有元数据服务器)和对称分布式文件系统(无元数据服务器)，非对称分布式文件系统构建的集群中要专门有一个中心节点或集群用于保存元数据信息和管理对数据的访问，非对称分布式文件系统的代表产品有CephFS、HDFS等；而对称分布式文件系统则与之相反，集群中只有一系列块节点，这些块节点形成了区间布局(hash layout)，客户端在访问文件时，先根据文件名计算出该文件属于哪个块节点，然后直接与此块节点建立连接以进行文件读写操作，对称分布式文件系统代表产品有GlusterFS。

有元数据服务器的非对称分布式文件系统会在内存中维护经常访问的元数据信息，并且每种类型的文件操作都会以更新日志(changlog)形式记录下来，以方便节点发生异常重启后，根据磁盘上的最近一次更新的元数据视图及后续的一系列更新日志来恢复节点异常那一刻的内存中的元数据状态。用这种方法可以很好的解决同步向磁盘更新元数据信息带来的性能低开销大的问题。内存中的元数据视图定期向磁盘刷新，近期的元数据的更新日志虽然已经作用不大，但依然可以保留下来提供给数据管理系统用于数据分析。

但是，对于像GlusterFS这种对称分布式文件系统来说：首先，对称分布式文件系统并没有统一的中心节点用于记录元数据信息，每个文件操作都要分布到某个块节点上；其次，在块节点上存储文件，更多的还是依赖于本地文件系统(local filesystem)，在块节点异常宕机时，可能出现实际执行的文件操作与文件的元数据更新后的日志记录不一致的情况发生，需要有额外机制来保护；最后，在将更新后的日志记录提供给数据管理系统时，由于每个块节点各自维护了自己的日志序列，如果简单的聚合成一个总的日志序列或者说总日志流，就会出现某些文件操作比其依赖的操作更早出现在总的日志序列中的情况，这可能会造成数据管理系统元数据信息与文件系统不一致。对称分布式文件系统的具体问题包括：

第一、在块节点的本地文件系统执行文件操作时，要把本次执行的文件操作的日志信息记录下来或者说写入日志记录，这实际是两个动作，在发生节点宕机等异常事件时，如果先执行文件操作，再写入日志记录，可能会导致日志丢失；反之，如果先写入日志记录，再执行文件操作，则可能出现无效的日志记录。

第二、文件写入数据操作会更新文件的元数据的长度属性(size)。连续的文件写入数据操作请求会产生大量的属性更新日志，开销较大，而且完全不必要，因为对于数据管理系统来说，只需要最终的文件长度信息。

第三、创建目录操作和删除目录操作会在块节点上执行，所以对于同一个目录是有重复的日志生成。多个块节点的日志记录在聚合时，为了保证“创建父目录-创建子目录项”和“删除所有子目录项-删除父目录”的逻辑关系，需要保留第一条执行创建目录操作后的日志记录和最后一条执行删除目录操作后的日志记录，其他的可以直接忽略掉。

第四、执行文件重命名操作，要涉及到源文件和目标文件，而源文件和目标文件可能不在同一个块节点上，这样就无法保证这条执行文件重命名操作后的日志记录对两个文件的所有操作都有序，可能导致数据管理系统与文件系统元数据视图不一致。

因此，需要提供一种新的对称分布式文件系统的元数据日志更新方法。