[发明专利]一种元数据服务器中日志段的处理方法及装置

说明书

本申请提供的一种元数据服务器中日志段的处理方法，当检测到元数据服务器中日志段的数量超过预设值时，判断序号最小的日志段中是否有子树根修改标记；若是，将所述序号最小的日志段的子树根单独进行落盘，并对所述序号最小的日志段进行解析，将得到的事件数据保存到磁盘中，删除所述序号最小的日志段；若否，不将所述子树根落盘，直接对所述序号最小的日志段进行解析，将得到的事件数据保存到磁盘中，删除所述序号最小的日志段。元数据服务器中的子树根单独落盘，不再跟随日志段落盘，减少了落盘数据和落盘频率，提升了落盘效率。

技术领域

本发明涉及分布式集群存储技术领域，更具体的，涉及一种元数据服务器中日志段的处理方法及装置。

背景技术

集群文件系统中，对于文件元数据的所有操作都是通过元数据服务器来进行响应处理的。当集群规模变大以后，单个元数据服务器不足以支撑消息的响应处理，因此增加为多个元数据服务器作为集群来处理请求响应。

元数据服务器为保证数据安全，需要将子树根作为一个整体存放在每个日志段的开头，跟随日志段一起落盘，以备在重启元数据服务器时候回放使用。但随着子树根的增多，每次需要落盘的数据量大大增加，严重影响了落盘效率，进而影响了元数据的其他处理流程，影响系统正常使用。

发明内容

有鉴于此，本发明提供了一种元数据服务器中日志段的处理方法，元数据服务器中的子树根单独落盘，不再跟随日志段落盘，减少了落盘数据和落盘频率，提升了落盘效率。

为了实现上述发明目的，本发明提供的具体技术方案如下：

一种元数据服务器中日志段的处理方法，包括：

当检测到元数据服务器中日志段的数量超过预设值时，判断序号最小的日志段中是否有子树根修改标记；

若是，将所述序号最小的日志段的子树根进行落盘，并对所述序号最小的日志段进行解析，将得到的事件数据保存到磁盘中，删除所述序号最小的日志段；

若否，对所述序号最小的日志段进行解析，将得到的事件数据保存到磁盘中，删除所述序号最小的日志段。

优选的，所述将所述序号最小的日志段的子树根进行落盘，包括：

从内存中读取所述序号最小的日志段的子树根；

将所述子树根保存到磁盘中；

删除所述内存中的所述子树根。

优选的，当所述元数据服务器重启或被接替后，所述方法还包括：

对所述元数据服务器中的多个日志段进行回放。

优选的，所述对所述元数据服务器中的多个日志段进行回放，包括：

将序号最大的日志段确定为当前日志段；

判断所述当前日志段中是否有子树根修改标记；

若是，从磁盘中读取与所述当前日志段序号相对应的子树根，并将所述子树根保存到内存；

若否，从磁盘中读取小于所述当前日志段序号的日志段中序号最大的日志段对应的子树根；

依次对所述当前日志段中的每个事件进行回放；

按日志段序号从大到小的顺序将所述当前日志段的下一个日志段确定为当前日志段，并返回执行所述判断所述当前日志段中是否有子树根修改标记这一步骤，直到所述元数据服务器中的所有日志段回放完成。

一种元数据服务器中日志段的处理装置，包括：

判断单元，用于当检测到元数据服务器中日志段的数量超过预设值时，判断序号最小的日志段中是否有子树根修改标记，若是，触发第一保存单元，若否，触发第二保存单元；