[发明专利]一种分布式文件系统目录级配额的优化方法

说明书

技术领域

本发明涉及文件系统，尤其是涉及一种分布式文件系统目录级配额的优化方法。

背景技术

在文件系统中，配额(quota)指的是系统管理员针对某个用户或者目录设定的空间使用上限。为了实现配额，文件系统一般需要记录用户或者目录当前的使用量，对于每个写操作，文件系统需要对当前使用量进行更新。

对于目录限额，每次更新都需要更新从当前目录到根目录的配额信息，每次更新都需要加锁、写存储介质、解锁。况且，对一个分布式文件系统，元数据更新往往需要通过网络传输数据。因此，频繁的更新元数据会极大地影响分布式文件系统的性能。

中国专利CN105677789A公开一种分布式文件系统的目录容量管理方法及系统，该方法包括：客户端在检测到对目标文件的写操作时生成所述目标文件所属目录的已用目录容量大小的更新请求，并将所述更新请求发送至服务端；所述服务端在收到所述更新请求时，遍历所述目标文件所属目录下的所有文件(而不是直接使用目录iNode大小)，得到当前已用目录容量大小，并将所述当前已用目录容量大小反馈至所述客户端。可见，该发明有效实现了及时更新目录容量大小，进而提高配额准确性的目的。

中国专利CN106210026A公开一种分布式文件系统多客户端目录配额精度的控制方法及系统，该方法包括：针对分布式文件系统确定一个预设目录配额精度值；检测元数据服务端的目录配额的可用容量；当所述目录配额的可用容量小于所述预设目录配额精度值时，获取操作目录的客户端的数量；利用所述目录配额的可用容量和所述客户端的数量，将所述可用容量进行分解，并将分解后的配额分配给所述客户端使用。该申请提供的一种分布式文件系统多客户端目录配额精度的控制方法及系统，能够保证多客户端场景下的目录配额精度，同时不影响客户端的性能。

中国专利CN106326013A公开一种分布式文件系统的磁盘配额管理系统，包括：元数据服务器和N个客户端；其中，元数据服务器包括：信息记录模块，用于记录所有客户端上的磁盘配额信息，得到相应的全局配额信息；配额管理模块，用于当任一客户端的磁盘配额信息发生变化，则获取该客户端发送的相应的配额信息变更请求，并将配额信息变更请求发送至信息记录模块，以利用配额信息变更请求，对全局配额信息进行相应地更新。该申请的技术方案能够让元数据服务器及时地获知当前分布式文件系统的所有客户端中最新的磁盘配额信息，由此可实现对分布式文件系统中的磁盘配额进行统一管理的目的。相应的，该申请还相应公开了一种分布式文件系统的磁盘配额管理方法。

中国专利CN106484834A公开一种分布式文件系统用户配额数据保存方法，包括：当检测到用户配额数据变化时，记录一条Journal事件保存用户配额数据变化的增量数据；当系统启动或重启时，读取所述Journal事件，并利用replay方法恢复用户配额数据；其中，所述replay方法包括利用所述增量数据恢复用户配额数据的程序；该方法保证用户配额数据安全性，可以满足用户对用户配额数据安全性要求较高的应用场景；该发明还公开了分布式文件系统用户配额数据保存系统及服务器，具有上述有益效果。

发明内容

本发明的目的在于提供可有效减少存储介质层面元数据的更新，能够提高系统性能的一种分布式文件系统目录级配额的优化方法。

本发明包括以下步骤：

1)创建两个配额更新操作字典，其中一个是当前活跃字典，另一个是非活跃字典，字典的键(key)是文件的inode号，值(value)是对这个文件的更新量；

2)当一个文件被修改时，在当前活跃字典中查找该文件，若找到，则把这次的修改带来的变化量加到更新量上；否则在字典中增加该文件并记录更新量；

3)当前活跃字典的更新操作数量达到预订的阀值，或者时间超过给定的超时值时，把当前活跃字典提交给存储介质，并切换活跃字典和非活跃字典；

4)在系统接到提交后，把字典中的更新操作一次性写入存储介质。

本发明主要方法如下：

1)合并对同一个文件的更新操作：当一个文件首次被改动时，用户很有可能会对它再次修改，这是数据的局部性原理，因而有机会把对一个文件的多次修改所导致的多个元数据更新操作合并成一个更新操作；将对同一文件的多次操作缓存并合并为一次操作，将降低对文件系统配额的更新操作数量。

2)批处理多个更新操作的具体方法如下：创建更新操作缓存字典，用于记录对系统做出的更新操作，当元数据更新操作的数量达到预设的阀值后再去真正地写数据，一次性处理多个更新，从而减少网络传输的次数。