[发明专利]分布式表格系统的分片分裂方法、装置、服务器及介质在审
| 申请号: | 202010610591.X | 申请日: | 2020-06-29 |
| 公开(公告)号: | CN113934682A | 公开(公告)日: | 2022-01-14 |
| 发明(设计)人: | 万进 | 申请(专利权)人: | 北京金山云网络技术有限公司 |
| 主分类号: | G06F16/11 | 分类号: | G06F16/11;G06F16/13;G06F16/16;G06F16/17;G06F16/18 |
| 代理公司: | 北京柏杉松知识产权代理事务所(普通合伙) 11413 | 代理人: | 马敬;项京 |
| 地址: | 100085 北京*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 分布式 表格 系统 分片 分裂 方法 装置 服务器 介质 | ||
本发明实施例提供了一种分布式表格系统的分片分裂方法、装置、服务器及介质,涉及分布式存储技术领域。本申请实施例的方案包括:从多个分片中确定出待分裂分片,然后建立待分裂分片的硬链接文件。其中,硬链接文件为待分裂分片的数据库文件的索引,再基于硬链接文件,对待分裂分片进行分裂。本发明实施例基于硬链接文件进行分片分裂所耗费的时间更短,可以减少分片分裂所消耗的时间,提高了写入服务的可用性。
技术领域
本发明涉及分布式存储技术领域,特别是涉及一种分布式表格系统的分片分裂方法、装置、服务器及介质。
背景技术
在表格的数据量较大时,可以对表格进行水平切片,获得多个分片,每个分片覆盖该表格的一定范围,即每个分片的数据库文件存储该表格一定范围的数据。一张表格对应的各分片覆盖的范围没有交集,各分片覆盖的范围的并集等于该表格所覆盖的范围。需要向表格中读写数据时,客户端会向代理服务器发送请求,代理服务器接收到请求后,首先向元数据服务器请求获取该请求所请求的数据所在的分片所属的数据服务器的信息,接着代理服务器向该数据服务器发送此请求。
为了提高分片的读写效率及数据服务器的空间利用率,当分片对应的数据库文件的数据量达到阈值时,可以将该分片分裂成两个子分片。目前的分裂方法为:暂停待分裂分片的写入,复制一份待分裂分片的数据库文件,得到一份复制文件,复制文件是新生成的文件,且复制文件包括的内容与数据库文件相同。创建两个子分片,记作子分片1和子分片2。子分片1的数据库文件为待分裂分片的数据库文件,子分片2的数据库文件为复制文件。删除子分片1的数据库文件中的部分数据,并删除子分片2的数据库文件中的另一部分数据,两个子分片保留的数据没有交集,且两个子分片保留的数据并集等于待分裂分片的数据库文件中数据。
由于在进行分片的分裂时,需要先暂停分片的写入,且分片的数据库文件数据量较大,复制数据库文件所耗费的时间较长,分裂完成之后才会继续分片的写入。可见分片的分裂耗时较长,分裂期间暂停分片的写入,影响了写入服务的可用性。
发明内容
本发明实施例的目的在于提供一种分布式表格系统的分片分裂方法、装置、服务器及介质,以提高写入服务的可用性。具体技术方案如下:
第一方面,本发明实施例提供了一种分布式表格系统的分片分裂方法,应用于分布式表格系统的存储服务器,所述分布式表格系统中包括至少一个表格,每个表格包括多个分片,所述多个分片存储在不同的存储服务器中,所述方法包括:
从所述多个分片中确定出待分裂分片;
建立所述待分裂分片的硬链接文件,所述硬链接文件为所述待分裂分片的数据库文件的索引;
基于所述硬链接文件,对所述待分裂分片进行分裂。
可选的,所述基于所述硬链接文件,对所述待分裂分片进行分裂,包括:
创建第一子分片和第二子分片;
将所述待分裂分片的数据库文件作为所述第一子分片的数据库文件,并将所述第一子分片的数据库文件包括的数据范围设置为:所述待分裂分片的数据库文件中的第一指定范围;
将所述硬链接文件作为所述第二子分片的数据库文件,并将所述第二子分片的数据库文件包括的数据范围设置为:所述待分裂分片的数据库文件中的第二指定范围,所述第一指定范围与所述第二指定范围的交集为空集,所述第一指定范围与所述第二指定范围的并集为所述待分裂分片的数据库文件包括的数据范围。
可选的,所述从所述多个分片中确定出待分裂分片,包括:
检测每个主分片的数据量;
将数据量满足预设条件的主分片确定为待分裂分片。
可选的,在所述从所述多个分片中确定出待分裂分片之后,所述方法还包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京金山云网络技术有限公司,未经北京金山云网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010610591.X/2.html,转载请声明来源钻瓜专利网。





