[发明专利]一种系统扩容时零数据迁移的数据分布存储方法及系统有效
申请号: | 201410752830.X | 申请日: | 2014-12-09 |
公开(公告)号: | CN104539660B | 公开(公告)日: | 2018-09-11 |
发明(设计)人: | 彭达;邹涛;陈飞舟 | 申请(专利权)人: | 珠海金山网络游戏科技有限公司;成都西山居互动娱乐科技有限公司 |
主分类号: | H04L29/08 | 分类号: | H04L29/08 |
代理公司: | 广州嘉权专利商标事务所有限公司 44205 | 代理人: | 谭志强 |
地址: | 519000 广东省珠*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 系统 扩容 数据 迁移 分布 存储 方法 | ||
本发明公开了一种系统扩容时零数据迁移的数据分布存储方法及系统,方法包括:通过接入层接收用户请求并将其转发至路由层;通过路由层将用户请求转发至存储层中对应的集群,并将其广播至该集群的所有机器;根据用户请求,对应集群的所有机器对数据进行相应的处理。系统包括:请求接收单元、请求广播单元和请求处理单元。本发明通过在集群内引入的广播域名和单播域名,进而对用户请求的数据进行对应的处理,从而在扩容时通过变更单播域名对应的单台机器即可轻松完成扩容工作。本发明简单便捷,在数据规模扩大需要扩容时,无需进行数据迁移,在能大大节省各类成本的同时,还能有效提高响应速度。本发明可广泛应用于分布式存储系统中。
技术领域
本发明涉及通信技术领域,尤其涉及一种系统扩容时零数据迁移的数据分布存储方法及系统。
背景技术
分布式存储系统,是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据,存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。
但是现在的分布式存储系统的数据存储层往往采用各类哈希方法进行数据分布,在数据规模不断扩大需要扩容的时候,无论是常见的哈希方式,还是一致性哈希方式,都需要进行大规模的数据迁移,这样造成了所需的时间、带宽和人力等各类的巨大成本。
发明内容
为了解决上述技术问题,本发明的目的是提供一种实现简单,能有效节省成本的一种系统扩容时零数据迁移的数据分布存储方法及系统。
本发明所采用的技术方案是:
一种系统扩容时零数据迁移的数据分布存储方法,包括以下步骤:
A、通过接入层接收用户请求并将其转发至路由层;
B、通过路由层将用户请求转发至存储层中对应的集群,并将其广播至该集群的所有机器;
C、根据用户请求,对应集群的所有机器对数据进行相应的处理。
作为所述的一种系统扩容时零数据迁移的数据分布存储方法的进一步改进,所述步骤B包括:
B1、根据存储层内集群预设的划分规则,计算出用户请求对应的集群;
B2、判断用户请求是否是增加请求,若是,则执行步骤B3;反之,则执行步骤B4;
B3、获取用户请求对应的集群的单播域名对应的单台机器的IP,并将其增加至用户请求内;
B4、将用户请求广播至对应集群的所有机器。
作为所述的一种系统扩容时零数据迁移的数据分布存储方法的进一步改进,所述步骤C包括:
C1、判断用户请求是否是增加请求,若是,则执行步骤C5;反之,则执行步骤C2;
C2、判断用户请求是否是删除请求,若是,则执行步骤C3;反之,则执行步骤C4;
C3、根据用户请求,在本机查找对应数据的存储位置,并将其删除;
C4、根据用户请求,在本机查找和读取对应的数据,并返回读取的数据;
C5、判断用户请求内的IP是否与本机的IP一致,若是,则在本机查找添加的存储位置并将数据添加至本机;反之,则根据预设的业务要求进行对应的处理。
作为所述的一种系统扩容时零数据迁移的数据分布存储方法的进一步改进,所述执行步骤B1之前还包括有规划步骤,所述规划步骤具体包括:
BP1、根据预期后将到达的数据规模,将存储层划分为对应的集群组数;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于珠海金山网络游戏科技有限公司;成都西山居互动娱乐科技有限公司,未经珠海金山网络游戏科技有限公司;成都西山居互动娱乐科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201410752830.X/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置