[发明专利]一种集群文件系统重复数据删除方法无效

专利信息
申请号: 201210475847.6 申请日: 2012-11-22
公开(公告)号: CN103051671A 公开(公告)日: 2013-04-17
发明(设计)人: 张延良;胡振;孟圣智 申请(专利权)人: 浪潮电子信息产业股份有限公司
主分类号: H04L29/08 分类号: H04L29/08
代理公司: 暂无信息 代理人: 暂无信息
地址: 250014 山东*** 国省代码: 山东;37
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 集群 文件系统 重复 数据 删除 方法
【说明书】:

技术领域

发明涉及到计算机集群存储领域,具体的说是一种集群文件系统重复数据删除方法。

背景技术

目前,大规模的集群文件系统能提供PB级甚至是EB级数据存储,存储空间不再是存储技术的瓶颈。但是,数以EB级的物理存储介质会使得集群文件系统在外观上很庞大,这就给集群文件系统部署、维护和使用带来不便。而企业存储的数据如果按数据块去划分,就会有很多重复的、冗余的数据,这些数据是没有必要存储在集群上的。如果能只保存一份数据又能看到存储数据的完整性,这样就能大大节省存储空间,减少存储成本。

发明内容

本发明针对现有集群文件系统的数据存储方面存在的不足之处,提出一种集群文件系统重复数据删除方法。

该方法适用于多客户端、大容量的分布式或并行集群文件系统,是按如下方式解决所述技术问题的:该方法是在集群文件系统的客户端上部署重复数据删除技术,当数据写入客户端时就进行重复数据删除,使得在集群文件系统上只存储一份数据,并在被重复删除的数据所属的文件中提供指向该数据块的索引,保证了文件的可读和可用;其体系结构包括:集群文件系统模块、接口节点模块及客户端模块。

下面对该方法体系结构的各个组成模块进行说明:

集群文件模块是客户端数据存储的载体,写入到客户端的数据经过接口节点最终存储到该模块,同时负责存储数据的高可用性、高可靠性,确保数据安全和可恢复性;

客户端模块负责提供外部数据写入集群文件系统存储空间的接口,客户端支持windows和Linux两种客户端;

接口节点模块负责将集群文件系统的存储空间提供给客户端使用,在客户端的接口节点上部署重复数据删除技术,并提供windows客户端访问集群文件系统的接口。

所述Linux客户端,在其上部署基于数据块级的重复数据删除技术,配置samba服务,并直接将集群文件系统挂载到Linux客户端目录上;所述数据块级支持4K到512K之间的不同数据块。

所述windows客户端,在其接口节点上配置samba服务,windows客户端不需要部署重复数据技术;当用户需要用到windows客户端时,通过samba服务将具有重复数据删除功能的Linux客户端目录映射到windows客户端上;当用户不使用windows客户端时,接口节点的角色则变成集群文件系统的Linux客户端。

本发明的一种集群文件系统重复数据删除方法的有益效果是:使用该方法,用户可根据需求选择相应重复删除数据块的大小,通过在接口节点部署重复数据删除软件,使得写入到集群文件系统数据只存储一份数据,大大节省了集群文件系统的存储空间,提高存储磁盘的使用率,减少存储成本。

附图说明

附图1为本发明所述方法的体系结构示意图。

具体实施方式

为了使本发明的目的、技术方案更加清晰,下面结合附图对本发明作进一步详细说明。

该方法体系结构包括:集群文件系统模块、接口节点模块及客户端模块,是在集群文件系统的客户端上部署重复数据删除技术,当数据写入客户端时就进行重复数据删除,保证在集群文件系统上只存储一份数据,被重复删除的数据在其所属的文件中提供了指向该数据块的索引,保证了文件的可读和可用。该方法适用于大规模、多客户端的分布式、并行文件系统,通过在集群文件系统的客户端部署重复数据删除技术,使得数据在写入时就删除冗余、重复的数据,大大节省了集群文件系统的存储空间,提高存储磁盘的使用率,减少存储成本。

对本方法体系结构的各个组成模块进行详细说明:

集群文件模块是客户端数据存储的载体,写入到客户端的数据经过接口节点最终存储到该模块;同时还负责存储数据的高可用性、高可靠性,确保数据安全和可恢复性。

客户端模块负责提供外部数据写入集群文件系统存储空间的接口,也就是用户与文件系统的接口,客户端支持windows和Linux两种客户端。由于Linux客户端容易配置,所以直接将文件系统挂载到客户端目录上,在windows客户端的接口节点上配置samba服务,将部署有重复删除软件的卷(卷容量是使用集群文件系统空间)映射给windows客户端,这样用户在windows客户端上写入重删卷的数据,经过重删技术后最终也是存到集群文件系统上。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浪潮电子信息产业股份有限公司,未经浪潮电子信息产业股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201210475847.6/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top