[发明专利]一种数据库集群数据分配方法及系统有效
申请号: | 201510472474.0 | 申请日: | 2015-08-04 |
公开(公告)号: | CN105159925B | 公开(公告)日: | 2019-08-30 |
发明(设计)人: | 冯军 | 申请(专利权)人: | 北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司 |
主分类号: | G06F16/83 | 分类号: | G06F16/83;G06F16/953;G06F16/22 |
代理公司: | 北京邦信阳专利商标代理有限公司 11012 | 代理人: | 金玺 |
地址: | 100080 北京市海淀区杏石口路6*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据库 集群 数据 分配 方法 系统 | ||
技术领域
本发明涉及数据库相关技术领域,特别是一种数据库集群数据分配方法及系统。
背景技术
随着对查询条件的多样化,和查询性能要求越来越高,现在很多业务都是用数据库集群,例如:SolrCloud,作为查询引擎。Solr是一个独立的企业级搜索应用服务器,类似于数据库,它对外提供类似于Web-service的API接口。用户可以通过http请求,向搜索引擎服务器提交一定格式的XML文件,生成索引;也可以通过HttpGet操作提出查找请求,并得到XML格式的返回结果。SolrCloud是对若干个solr应用提供的一套集群部署方案。
然而,随着数据量的增长,数据就需要做分片存储,数据库集群提供的分片机制不能很好的满足业务需求,比如说自定义分片键数据不能均匀分布。
发明内容
基于此,有必要针对现有技术的数据库集群的分片机制不能很好的满足业务需求的技术问题,提供一种数据库集群数据分配方法及系统。
一种数据库集群数据分配方法,包括:
定时检测步骤,包括:定时检测数据库集群中所有数据库集合的数据存储情况,获取数据存储量超出阀值的数据库集合作为待分割数据库集合,将待分割数据库集合设置为分割状态;
转移步骤,包括:对待分割数据库集合根据预设分割规则进行预分割,得到分割后的新集合数量,创建新集合数量的转移数据库集合,根据分割规则确定待分割数据库集合所对应的多个转移数据库集合,将待分割数据库集合中的数据转移到转移数据库集合;
写入步骤,包括:客户端从集群的路由规则服务器中获取待写入数据库集合的链接,根据链接向集群写入数据,集群的路由器响应于客户端的写入数据信息,将写入数据信息的链接所指定的数据库集合作为当前数据库集合,判断当前数据库集合是否为分割状态,如果为分割状态,则根据分割规则获取当前数据库集合所对应的转移数据库集合,将客户端所写入的数据同时写入当前数据库集合和转移数据库集合;
数据库集合卸载步骤,包括:当将待分割数据库集合中的数据转移到转移数据库集合后,从数据库集群中卸载待分割数据库集合
一种数据库集群数据分配系统,包括:
定时检测模块,用于:定时检测数据库集群中所有数据库集合的数据存储情况,获取数据存储量超出阀值的数据库集合作为待分割数据库集合,将待分割数据库集合设置为分割状态;
转移模块,用于:对待分割数据库集合根据预设分割规则进行预分割,得到分割后的新集合数量,创建新集合数量的转移数据库集合,根据分割规则确定待分割数据库集合所对应的多个转移数据库集合,将待分割数据库集合中的数据转移到转移数据库集合;
写入模块,用于:客户端从集群的路由规则服务器中获取待写入数据库集合的链接,根据链接向集群写入数据,集群的路由器响应于客户端的写入数据信息,将写入数据信息的链接所指定的数据库集合作为当前数据库集合,判断当前数据库集合是否为分割状态,如果为分割状态,则根据分割规则获取当前数据库集合所对应的转移数据库集合,将客户端所写入的数据同时写入当前数据库集合和转移数据库集合;
数据库集合卸载模块,用于:当将待分割数据库集合中的数据转移到转移数据库集合后,从数据库集群中卸载待分割数据库集合。
本发明通过对数据库集群定时检测,从而将数据存储量超出阀值的数据库集合分割为多个数据库,以实现数据均匀分布,同时对于在分割转移过程中的客户端写入数据请求,通过同时向两个数据库写入的方式,避免对客户端写入造成影响。
附图说明
图1为本发明一种数据库集群数据分配方法的工作流程图;
图2为本发明的一个最佳实施例;
图3为本发明一种数据库集群数据分配系统的结构模块图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步详细的说明。
如图1所示为本发明一种数据库集群数据分配方法的工作流程图,包括:
步骤S101,包括:定时检测数据库集群中所有数据库集合的数据存储情况,获取数据存储量超出阀值的数据库集合作为待分割数据库集合,将待分割数据库集合设置为分割状态;
步骤S102,包括:对待分割数据库集合根据预设分割规则进行预分割,得到分割后的新集合数量,创建新集合数量的转移数据库集合,根据分割规则确定待分割数据库集合所对应的多个转移数据库集合,将待分割数据库集合中的数据转移到转移数据库集合;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司,未经北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201510472474.0/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置