[发明专利]一种大数据存储系统有效
申请号: | 201410053769.X | 申请日: | 2014-02-17 |
公开(公告)号: | CN103812939B | 公开(公告)日: | 2017-02-08 |
发明(设计)人: | 李漾;张婷 | 申请(专利权)人: | 大连云动力科技有限公司 |
主分类号: | H04L29/08 | 分类号: | H04L29/08;G06F17/30 |
代理公司: | 大连东方专利代理有限责任公司21212 | 代理人: | 李馨,李洪福 |
地址: | 116033 辽宁省大连市*** | 国省代码: | 辽宁;21 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据 存储系统 | ||
1.一种大数据存储系统,其特征在于:
将文件划分为对象元数据和对象松散数据,所述的对象元数据和对象松散数据存储在容器中,所述的容器分布式存储在位于不同域的存储服务器中;
所述容器具有对象元数据存储空间和对象松散数据存储空间;
还具有控制所述容器中存储数据的对象元数据管理单元和对象松散数据管理单元;
所述的对象元数据存储空间中存储有系统内所有对象的元数据块形成的一个元数据块集合;在所述块集合中的对象的元数据块按字典序排列;
所述每一个对象的元数据块为一个多行两列矩阵,矩阵第一列和第二列的值分别为元数据块的标识和块值;所述每一个块集合中的所有块标识具有唯一的值;
所述的多行两列矩阵中至少包含拥有者信息、访问权限信息、对象数据类型和对象创建时间信息。
2.根据权利要求1所述的大数据存储系统,其特征还在于具有访问点模块,为系统提供命名空间,该命名空间内的容器名作为容器索引使用;所述容器索引映射为一容器元数据集,该数据集由若干个两行多列矩阵组成,矩阵中每一行分别表示块标识和块值。
3.根据权利要求2所述的大数据存储系统,其特征还在于:所述的容器名与对象关键字组合作为对象索引。
4.根据权利要求3所述的大数据存储系统,其特征还在于:所述的对象元数据管理模块具有核心对象记录,记录所述每一个对象的关键字和对象版本ID列表,列表中每一个ID与对象的一个独立版本相关联。
5.根据权利要求4所述的大数据存储系统,其特征还在于:每个版本的对象具有唯一的索引字符串,该索引字符串由该版本对象所在容器名称、对象关键字和对象的版本ID组成。
6.根据上述任意一项权利要求所述的大数据存储系统,其特征还在于:所述重复数据管理模块,通过对松散数据进行文件校验比对,将同一份松散数据分享给不同用户、不同容器和不同对象。
7.根据权利要求6所述的大数据存储系统,其特征还在于:所述重复数据管理模块将某容器设置成重复数据共享开启状态,则该容器内的数据将存放于全局共享数据空间中;
所述被设置成重复数据开启状态的容器,其松散数据以SHA-256的检验值进行区分,若多个对象的松散数据SHA-256校验值相同,则所有这些对象的元数据中的松散数据地址指向全局共享数据空间内的同一个存储路径位置;若用户对于开启重复数据共享功能的容器进行数据删除操作,系统将检查对应松散数据是否还被共享给其他容器,若无共享,则删除对应数据;若有共享,则仍然保留该数据。
8.根据权利要求1-5任意一项权利要求所述的大数据存储系统,其特征还在于:所述域具有多个存储服务器和缓存服务器集群,所述的每一个容器位于一个指定域中,容器的对象数据分散存储与不同的存储服务器或缓存服务器中;所述存储系统支持文件分块上传。
9.根据权利要求7所述的大数据存储系统,其特征还在于:还具有与多个域通信的多域控制器,该控制器包括一个模块器集群、存储所的请求记录信息,保存并维护用户帐号和账务信息关系型数据库、用户权限管理模块和记录容器与所在域的关联信息DNS域名管理系统。
10.根据权利要求1-5任意一项权利要求所述的大数据存储系统,其特征还在于:所述的对象元数据存储空间和对象松散数据存储空间还具有对应的缓存空间。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于大连云动力科技有限公司,未经大连云动力科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201410053769.X/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种点烟头
- 下一篇:个性化高弹力汽车椅套
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置