[发明专利]分布式数据库系统和分布式数据库系统中的数据处理方法有效
| 申请号: | 201611095563.9 | 申请日: | 2016-12-01 |
| 公开(公告)号: | CN106708968B | 公开(公告)日: | 2019-11-26 |
| 发明(设计)人: | 张宗全;张程伟;高波 | 申请(专利权)人: | 成都华为技术有限公司 |
| 主分类号: | G06F16/27 | 分类号: | G06F16/27 |
| 代理公司: | 11329 北京龙双利达知识产权代理有限公司 | 代理人: | 王君;肖鹂<国际申请>=<国际公布>=< |
| 地址: | 610041 四川省成*** | 国省代码: | 四川;51 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 数据库引擎 目标页 分布式数据库系统 日志 重做 标识信息 第一数据 目标分区 数据处理 插入数据 请求消息 分区 目标存储节点 物理地址空间 存储节点 存储目标 灵活动态 扩容 申请 携带 | ||
本申请提供分布式数据库系统和分布式数据库系统中的数据处理方法。该数据处理方法包括:数据库引擎接收插入数据请求消息,插入数据请求消息携带第一数据;数据库引擎确定第一数据所属的目标页的标识信息;数据库引擎生成第一重做日志,第一重做日志包括第一数据和目标页的标识信息;数据库引擎根据第一重做日志中目标页的标识信息,确定至少一个分区中与目标页对应的目标分区;数据库引擎将第一重做日志中的第一数据和目标页的标识信息,存入目标分区中用于存储目标页的重做日志的物理地址空间,目标分区为至少一个存储节点中的目标存储节点所包括的分区。本申请的分布式数据库系统和数据处理方法使得该分布式数据库系统可以灵活动态地扩容。
技术领域
本申请涉及存储领域,尤其涉及分布式数据库系统和分布式数据库系统中的数据处理方法。
背景技术
随着技术的发展,将分布式数据库与存储技术融合的需求越来越大。将分布式数据库与存储技术融合,可以大幅度提升分布式数据库的性能。
目前,分布式数据库与存储技术融合的方案中,分布式数据库中与数据相关的内容,如重做日志,是直接映射并存储到存储节点上的。这种存储方式使得存储节点不能动态扩容。
具体而言,当分布式数据库的容量达到一定程度,需要扩充存储节点时,通常情况下,需要用户对分布式数据库进行分库,或对分布式数据库中的表进行分表。这种扩容方式,操作繁琐,灵活性较差。
发明内容
本申请提供一种分布式数据库系统和分布式数据库系统中的数据处理方法,使得该分布式数据库系统可以灵活动态地扩容。
第一方面,本申请提供了一种分布式数据库系统中的数据处理方法,所述分布式数据库系统包括数据库引擎和至少一个存储节点,所述至少一个存储节点中的每个存储节点包括至少一个分区,所述数据处理方法包括:所述数据库引擎接收插入数据请求消息,所述插入数据请求消息携带第一数据;所述数据库引擎确定所述第一数据所属的目标页的标识信息;所述数据库引擎生成第一重做日志,所述第一重做日志包括所述第一数据和所述目标页的标识信息;所述数据库引擎根据所述第一重做日志中所述目标页的标识信息,确定所述至少一个分区中与所述目标页对应的目标分区;所述数据库引擎将所述第一重做日志中的所述第一数据和所述目标页的标识信息,存入所述目标分区中用于存储所述目标页的重做日志的物理地址空间,所述目标分区为所述至少一个存储节点中的目标存储节点所包括的分区。
本申请中的分布式数据库系统中的数据处理方法,将重做日志先映射到存储系统的存储分区上,然后再将重做日志写入存储分区在对应的存储节点中包括的物理地址空间,使得该分布式数据库系统在进行扩容时,只需修改存储分区与存储节点,以及存储分区在存储节点中包括的物理地址空间的映射关系即可。这样,不经能够灵活动态地实现存储系统的扩容,而且使得扩容时用户不会有所感知,提高用户的体验度。
在一种可能的实现方式中,所述数据处理方法还包括:所述目标存储节点读取所述目标分区中的所述第一重做日志;所述目标存储节点将所述第一重做日志中的所述第一数据写入所述目标分区中用于存储所述目标页的数据的物理地址空间。
在一种可能的实现方式中,所述数据处理方法还包括:所述数据库引擎确定所述数据库引擎对应的内存中是否存在待查询数据;若所述数据库引擎确定所述内存中存在所述待查询数据,则返回所述待查询数据。
在一种可能的实现方式中,若所述数据库引擎确定所述内存中不存在所述待查询数据,则所述数据处理方法还包括:所述数据库引擎确定所述带查询数据所属的待查询页的标识信息;所述数据库引擎根据所述待查询页的标识信息,确定所述带查询页所属的待查询分区;所述数据库引擎根据所述待查询分区中存储的所述待查询页中的数据和所述带查询分区中存储的所述待查询页的重做日志中的数据,反馈所述待查询数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于成都华为技术有限公司,未经成都华为技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201611095563.9/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种应用程序无响应处理方法及终端
- 下一篇:一种电力多维全景数据的预处理系统





