[发明专利]文件整理方法、装置及相关设备有效
| 申请号: | 201911311295.3 | 申请日: | 2019-12-18 |
| 公开(公告)号: | CN112988696B | 公开(公告)日: | 2022-08-23 |
| 发明(设计)人: | 徐陇浙 | 申请(专利权)人: | 浙江宇视科技有限公司 |
| 主分类号: | G06F16/182 | 分类号: | G06F16/182 |
| 代理公司: | 北京超凡宏宇专利代理事务所(特殊普通合伙) 11463 | 代理人: | 李莎 |
| 地址: | 310000 浙江省杭州市滨江区西兴街道江陵路*** | 国省代码: | 浙江;33 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 文件 整理 方法 装置 相关 设备 | ||
1.一种文件整理方法,其特征在于,应用于分布式存储系统的管理节点,所述分布式存储系统还包括多个存储节点,所述管理节点与多个所述存储节点通信连接,所述方法包括:
获取多个待处理文件的块数据分布情况,每个所述块数据分布情况用于反映一个所述待处理文件包括的多个块数据所在的存储节点;
根据每个所述块数据分布情况分别确定每个所述待处理文件的节点关联顺序,其中,每个所述节点关联顺序用于反映一个所述待处理文件与每个所述存储节点的关联程度;
根据多个所述待处理文件的节点关联顺序将多个所述待处理文件拆分为多个分区,以使每个所述分区与一个所述存储节点对应;
基于每个所述分区包括的待处理文件的文件路径生成合并任务;
将每个所述合并任务分发至与每个所述分区对应的所述存储节点,以使每个所述存储节点对与所述存储节点对应的所述分区包括的待处理文件进行合并操作。
2.根据权利要求1所述的文件整理方法,其特征在于,所述根据多个所述待处理文件的节点关联顺序将多个所述待处理文件拆分为多个分区的步骤包括:
根据每个所述待处理文件的节点关联顺序确定每个所述待处理文件是否具备关联节点;
根据所述关联节点将具备关联节点的所述待处理文件拆分为多个分区,其中,每个所述分区内包括的待处理文件的关联节点相同。
3.根据权利要求2所述的文件整理方法,其特征在于,所述根据多个所述待处理文件的节点关联顺序将多个所述待处理文件拆分为多个分区的步骤还包括:
实时获取每个所述分区的文件总体积;
依次将每个不具备所述关联节点的所述待处理文件分配至所述文件总体积最小的所述分区。
4.根据权利要求2所述的文件整理方法,其特征在于,所述根据多个所述待处理文件的节点关联顺序将多个所述待处理文件拆分为多个分区的步骤还包括:
将每个所述分区内的待处理文件按照预设定的体积阈值再次进行分区操作,其中,再次进行分区操作后的每个所述分区的文件总体积大于或等于所述体积阈值,且去除每个所述分区内的任意一个所述待处理文件后的文件总体积小于所述体积阈值。
5.根据权利要求2-4中任意一项所述的文件整理方法,其特征在于,所述根据每个所述待处理文件的节点关联顺序确定每个所述待处理文件是否具备关联节点的步骤包括:
若多个所述待处理文件中的目标文件的节点关联顺序表征所述目标文件与每个所述存储节点的关联程度相同,则确定所述目标文件不具备关联节点;
若多个所述待处理文件中的目标文件的节点关联顺序表征所述目标文件与每个所述存储节点的关联程度不同,则确定所述目标文件具备关联节点,并将与所述目标文件关联程度最高的所述存储节点确定为所述目标文件的关联节点。
6.根据权利要求1-4中任意一项所述的文件整理方法,其特征在于,在所述获取多个待处理文件的块数据分布情况的步骤之前,所述方法还包括:
遍历预先确定的待合并目录,所述待合并目录包括多个待合并文件的文件信息;
根据每个所述待合并文件的文件信息从多个所述待合并文件中筛选出预设数量个满足预设条件的待合并文件作为所述待处理文件。
7.根据权利要求6所述的文件整理方法,其特征在于,所述文件信息包括所述待合并文件的文件大小、文件类型以及文件状态信息,当所述待合并文件的文件体积小于预设定的体积阈值和/或述待合并文件的文件类型与预设定的类型符合和/或根据所述文件状态信息确定所述待合并文件处于正常状态时,确定所述待合并文件满足预设条件。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江宇视科技有限公司,未经浙江宇视科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911311295.3/1.html,转载请声明来源钻瓜专利网。





