[发明专利]一种数据库扩容方法、装置及系统

说明书

本说明书实施例涉及大数据技术领域，具体公开了一种数据库扩容方法、装置及系统，所述方法包括接收数据库扩容请求；所述数据库扩容请求包括新增子数据库的设备标识信息；确定扩容前的数据库中的待迁移数据，以使所述待迁移数据迁移至所述设备标识信息所对应的新增子数据库中；在确定数据迁移开始后，接收并记录所述待迁移数据所对应的数据写入请求；在确定数据迁移结束后，利用记录的所述数据写入请求对所述新增子数据库中的数据进行更新处理。利用本说明书各个实施例，可以最大限度的保证数据库扩容过程中，数据库的高可用性，以及提高数据库扩容的高效性。

技术领域

本说明书涉及大数据技术领域，特别地，涉及一种数据库扩容方法、装置及系统。

背景技术

当前分布式数据库主要应用领域是大数据分析。分布式数据库处理的数据量已经达到PB级，且数据量还在以惊人的速度增长。已有的分布式数据库系统总会面临计算能力和数据存储能力的瓶颈，当集群的资源不足的时候，则需要通过在线扩容以增加数据库的处理量。即通过增加新的物理设备，让新增的设备分担集群数据处理压力。在扩容的过程中原数据库中的数据需要重新分布至新的物理设备，以保证数据处理的一致性，以及适应扩展带来的性能和存储能力的提升。

目前分布式数据库大多采用哈希分布或者随机分布技术把数据分布到各个节点上。对于已经在运行的分布式数据库系统，数据的哈希分布方式是固定的，如果新增节点，则用户id与服务器的映射关系会大量失效。在这种场景下增加节点就需要修改哈希分布方式，对已有数据重新做哈希分布，让数据分布在新增节点上。同时在扩容的过程需要中断业务，而分布式数据库系统扩容时涉及的数据量巨大，所以扩容所花费的时间也一般比较长，从而使得业务的连续性受到较大的影响。因此，目前亟需一种可以保证业务连续性的数据库在线扩容方法。

发明内容

本说明书实施例的目的在于提供一种数据库扩容方法、装置及系统，可以最大限度的保证数据库扩容过程中，数据库的可用性，进而最大限度的保证业务的连续性。

本说明书提供一种数据库扩容方法、装置及系统是包括如下方式实现的：

一种数据库扩容方法，应用于扩容控制设备，所述方法包括：接收数据库扩容请求；所述数据库扩容请求包括新增子数据库的设备标识信息；确定扩容前的数据库中的待迁移数据，以使所述待迁移数据迁移至所述设备标识信息所对应的新增子数据库中；在确定数据迁移开始后，接收并记录所述待迁移数据所对应的数据写入请求；在确定数据迁移结束后，利用记录的所述数据写入请求对所述新增子数据库中的数据进行更新处理。

本说明书提供的所述方法的另一些实施例中，所述方法还包括：根据所述数据库扩容请求中的设备标识信息以及扩容前的数据库哈希分布，计算得到扩容后的数据库哈希分布；所述数据库哈希分布根据一致性哈希算法确定；根据所述扩容后的数据库哈希分布确定所述新增子数据库的哈希区间。相应的，所述确定扩容前的数据库中的待迁移数据包括将扩容前的数据库中所述哈希区间所对应的数据作为待迁移数据。

本说明书提供的所述方法的另一些实施例中，所述方法还包括：接收并记录所述哈希区间内任意哈希值所对应的数据写入请求。

本说明书提供的所述方法的另一些实施例中，所述方法还包括：在确定数据迁移开始后、数据迁移结束前，拒绝所述待迁移数据所对应的数据读取请求。

本说明书提供的所述方法的另一些实施例中，所述记录所述待迁移数据所对应的数据写入请求，包括：获取所述数据写入请求的请求时间以及数据标识；所述数据标识表示所述数据写入请求所请求的数据的标识信息。根据所述请求时间以及数据标识生成所述数据写入请求的请求标识信息；其中，所述请求标识信息包括数据标识、时间戳以及版本号；所述版本号表示所述数据标识所对应的数据写入请求在数据迁移过程中的请求次数。利用所述请求标识信息记录所述数据写入请求。