[发明专利]一种小文件的定位方法及系统有效
申请号: | 201410850201.0 | 申请日: | 2014-12-30 |
公开(公告)号: | CN104965845A | 公开(公告)日: | 2015-10-07 |
发明(设计)人: | 许焰;周明伟;江文龙 | 申请(专利权)人: | 浙江大华技术股份有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京同达信恒知识产权代理有限公司 11291 | 代理人: | 朱佳 |
地址: | 310053 浙江*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 文件 定位 方法 系统 | ||
1.一种小文件的定位方法,其特征在于,包括:
文件管理平台接收客户端发送的小文件读取请求后,确定所述小文件的目录对应的元数据文件;
所述文件管理平台根据所述小文件的标识信息,以及预设的所述小文件的索引信息,确定所述小文件的元数据信息在所述元数据文件中的存储位置,并基于所述存储位置获取所述小文件的元数据信息;其中,所述小文件的索引信息用于描述所述小文件的标识信息和所述存储位置之间的映射关系,所述元数据信息中至少包括小文件的切片数据和检验码所属的容器和小文件的切片数据和校验码在容器中的偏移量;
所述文件管理平台基于所述小文件的元数据信息,向所述客户端通知保存有所述容器的相关存储节点的位置,令所述客户端从所述相关存储节点读取所述小文件的切片数据和校验码。
2.如权利要求1所述的方法,其特征在于,在接收到所述小文件读取请求之前,进一步包括:
所述文件管理平台接收到客户端发送的小文件存储请求时,为所述小文件分配可用的容器,并通过所述容器关联相应的存储节点,令所述客户端将小文件的切片数据和校验码分别发送至相应的存储节点,并指示所述相应的存储节点分别将接收到的小文件的切片数据和校验码存储至本地对应所述容器的存储文件中;
所述文件管理平台根据所述小文件的目录以及预设的目录与元数据文件的一一对应关系,确定所述小文件对应的元数据文件,并根据客户端反馈的存储结果,将所述小文件的元数据信息在所述元数据文件中进行更新,以及建立所述小文件的索引信息,其中,所述小文件的索引信息用于描述所述小文件的标识信息与所述小文件元数据信息的存储位置之间的映射关系。
3.如权利要求2所述的方法,其特征在于,所述文件管理平台为所述小文件分配可用的容器,并通过所述容器关联相应的存储节点,令所述客户端将小文件的切片数据和校验码分别发送至相应的存储节点,具体包括:
所述文件管理平台为所述小文件分配可用的容器,并将所述容器中各个存储文件分别关联相应的存储节点,令所述客户端将小文件进行切片处理并按预设的容错方法计算校验码后,按照容器中各个存储文件与相应的存储节点的对齐顺序将各个切片数据和校验码分别向相应的存储节点发送,其中,各个切片数据及相应检验码,与各个存储文件之间的对应关系是由所述文件管理平台预先配置的。
4.如权利要求1、2或3所述的方法,其特征在于,所述文件管理平台基于所述小文件的元数据信息,向所述客户端通知保存有所述容器的相关存储节点的位置,令所述客户端从所述相关存储节点读取所述小文件的切片数据和校验码,具体包括:
所述文件管理平台基于所述小文件的元数据信息,确定小文件的各个切片数据和校验码所属的容器,以及小文件的各个切片数据和校验码在容器中的偏移量;
所述文件管理平台按照所述容器中的各个存储文件与各个存储节点的对齐顺序,分别确定小文件的各个切片数据和校验码对应的存储节点;其中,各个切片数据及相应检验码,与各个存储文件之间的对应关系是由所述文件管理平台预先配置的;
所述文件管理平台向所述客户端通知所述对应的存储节点的位置,令所述客户端根据小文件的各个切片数据和校验码在容器中的偏移量,分别从所述对应的存储节点中读取各个切片数据和校验码。
5.如权利要求1-4任一项所述的方法,其特征在于,进一步包括:
在建立小文件的索引信息之前,建立每一个元数据文件对应的头文件,所述头文件至少包括小文件的元数据信息在对应元数据文件中的存储位置信息,以及小文件数据的状态信息,所述状态信息用于指示小文件的元数据是否可读。
6.如权利要求5所述的方法,其特征在于,进一步包括:
在接收到客户端发送的删除小文件的请求后,获取小文件所在元数据文件对应的头文件,并将获得的头文件中小文件的元数据的状态信息更改为不可读。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江大华技术股份有限公司,未经浙江大华技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201410850201.0/1.html,转载请声明来源钻瓜专利网。
- 上一篇:信息处理方法及装置
- 下一篇:一种数据处理方法和装置