[发明专利]一种数据库集群数据分配方法及系统有效

专利信息
申请号: 201510472474.0 申请日: 2015-08-04
公开(公告)号: CN105159925B 公开(公告)日: 2019-08-30
发明(设计)人: 冯军 申请(专利权)人: 北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司
主分类号: G06F16/83 分类号: G06F16/83;G06F16/953;G06F16/22
代理公司: 北京邦信阳专利商标代理有限公司 11012 代理人: 金玺
地址: 100080 北京市海淀区杏石口路6*** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 数据库 集群 数据 分配 方法 系统
【说明书】:

技术领域

发明涉及数据库相关技术领域,特别是一种数据库集群数据分配方法及系统。

背景技术

随着对查询条件的多样化,和查询性能要求越来越高,现在很多业务都是用数据库集群,例如:SolrCloud,作为查询引擎。Solr是一个独立的企业级搜索应用服务器,类似于数据库,它对外提供类似于Web-service的API接口。用户可以通过http请求,向搜索引擎服务器提交一定格式的XML文件,生成索引;也可以通过HttpGet操作提出查找请求,并得到XML格式的返回结果。SolrCloud是对若干个solr应用提供的一套集群部署方案。

然而,随着数据量的增长,数据就需要做分片存储,数据库集群提供的分片机制不能很好的满足业务需求,比如说自定义分片键数据不能均匀分布。

发明内容

基于此,有必要针对现有技术的数据库集群的分片机制不能很好的满足业务需求的技术问题,提供一种数据库集群数据分配方法及系统。

一种数据库集群数据分配方法,包括:

定时检测步骤,包括:定时检测数据库集群中所有数据库集合的数据存储情况,获取数据存储量超出阀值的数据库集合作为待分割数据库集合,将待分割数据库集合设置为分割状态;

转移步骤,包括:对待分割数据库集合根据预设分割规则进行预分割,得到分割后的新集合数量,创建新集合数量的转移数据库集合,根据分割规则确定待分割数据库集合所对应的多个转移数据库集合,将待分割数据库集合中的数据转移到转移数据库集合;

写入步骤,包括:客户端从集群的路由规则服务器中获取待写入数据库集合的链接,根据链接向集群写入数据,集群的路由器响应于客户端的写入数据信息,将写入数据信息的链接所指定的数据库集合作为当前数据库集合,判断当前数据库集合是否为分割状态,如果为分割状态,则根据分割规则获取当前数据库集合所对应的转移数据库集合,将客户端所写入的数据同时写入当前数据库集合和转移数据库集合;

数据库集合卸载步骤,包括:当将待分割数据库集合中的数据转移到转移数据库集合后,从数据库集群中卸载待分割数据库集合

一种数据库集群数据分配系统,包括:

定时检测模块,用于:定时检测数据库集群中所有数据库集合的数据存储情况,获取数据存储量超出阀值的数据库集合作为待分割数据库集合,将待分割数据库集合设置为分割状态;

转移模块,用于:对待分割数据库集合根据预设分割规则进行预分割,得到分割后的新集合数量,创建新集合数量的转移数据库集合,根据分割规则确定待分割数据库集合所对应的多个转移数据库集合,将待分割数据库集合中的数据转移到转移数据库集合;

写入模块,用于:客户端从集群的路由规则服务器中获取待写入数据库集合的链接,根据链接向集群写入数据,集群的路由器响应于客户端的写入数据信息,将写入数据信息的链接所指定的数据库集合作为当前数据库集合,判断当前数据库集合是否为分割状态,如果为分割状态,则根据分割规则获取当前数据库集合所对应的转移数据库集合,将客户端所写入的数据同时写入当前数据库集合和转移数据库集合;

数据库集合卸载模块,用于:当将待分割数据库集合中的数据转移到转移数据库集合后,从数据库集群中卸载待分割数据库集合。

本发明通过对数据库集群定时检测,从而将数据存储量超出阀值的数据库集合分割为多个数据库,以实现数据均匀分布,同时对于在分割转移过程中的客户端写入数据请求,通过同时向两个数据库写入的方式,避免对客户端写入造成影响。

附图说明

图1为本发明一种数据库集群数据分配方法的工作流程图;

图2为本发明的一个最佳实施例;

图3为本发明一种数据库集群数据分配系统的结构模块图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步详细的说明。

如图1所示为本发明一种数据库集群数据分配方法的工作流程图,包括:

步骤S101,包括:定时检测数据库集群中所有数据库集合的数据存储情况,获取数据存储量超出阀值的数据库集合作为待分割数据库集合,将待分割数据库集合设置为分割状态;

步骤S102,包括:对待分割数据库集合根据预设分割规则进行预分割,得到分割后的新集合数量,创建新集合数量的转移数据库集合,根据分割规则确定待分割数据库集合所对应的多个转移数据库集合,将待分割数据库集合中的数据转移到转移数据库集合;

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司,未经北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201510472474.0/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top