[发明专利]集群扩展方法、装置、电子设备及存储介质

说明书

本发明提供一种集群扩展方法，所述方法包括：获取待扩展机器的数据；获取集群中的机器数量；当确定待扩展机器的数量不是所述集群中的机器数量的倍数时，获取所述集群中当前分片的数据总量及所述当前分片的分片数量；根据所述集群中当前分片的数据总量、当前分片的分片数量及待扩展机器的分片数量，将所述当前分片中每个分片的部分数据量迁移到所述待扩展器中；当确定所述待扩展机器的数量是所述集群中的机器数量的倍数时，根据待扩展机器的性能参数，将所述待扩展机器配置在所述集群中。本发明能提升集群性能，减少或避免数据迁移。同时能实现负载均衡。

技术领域

本发明涉及数据库技术领域，尤其涉及一种集群扩展方法、装置、电子设备及存储介质。

背景技术

现有技术中集群(例如搜索引擎集群)的状态不是一成不变，很难提前知道集群中所需要的分片shard个数，随着机器规模的扩大，或者意外的宕机服务，集群中会不断的有机器增加或者退出，在集群中添加机器及分片后，因为不同机器对应的地址区间(如hash区间)发生了变化，所以要进行数据迁移，带来了抖动现象，这是一个耗时且耗性能的操作。

当增加机器的分片后，现有技术中一般是将某一个或者多个分片分割成多个子分片，将一个或者多个子分片作为新增加的机器的分片，这样就会导致迁移数据的压力就会落在某一台或者多台机器上。而且这样会导致某一台或者多台机器之间的网络负载突然增大，引发常说的“热点”问题。即分割分片的机器独自承担所有的数据迁移任务，抖动明显，容易造成性能瓶颈。

当集群中一个原来的分片被分割两个子分片之后，两个子分片的地址区间(如hash区间)变小，机器数据负荷减轻，搜索可以加速，但是集群中其他分片的地址区间(如hash区间)并没有发生变化。集群的查询是先分后汇总的过程，也就是说最后每一个分片查询完毕才算完毕，所以此处查询速度是由没有被分割的分片的查询速度决定的。所以整个查询效率基本看不到明显提升。此种情况下，不成倍增加机器是看不到集群性能提升。

发明内容

鉴于以上内容，有必要提供一种集群扩展方法、装置、电子设备及存储介质，本发明能提升集群性能，减少或避免数据迁移。同时能实现负载均衡。

一种集群扩展方法，所述方法包括：

获取待扩展机器的数据，所述待扩展机器的数据包括以下一种或者多种：待扩展机器的数量、待扩展机器的性能参数、待扩展机器的分片数量；

获取集群中的机器数量；

当确定所述待扩展机器的数量不是所述集群中的机器数量的倍数时，获取所述集群中当前分片的数据总量及所述当前分片的分片数量；

根据所述集群中当前分片的数据总量、所述当前分片的分片数量及所述待扩展机器的分片数量，将所述当前分片中每个分片的部分数据量迁移到所述待扩展器中中；

当确定所述待扩展机器的数量是所述集群中的机器数量的倍数时根据所述待扩展机器的性能参数，将所述待扩展机器配置在所述集群中。

根据本发明优选实施例，所述根据所述集群中当前分片的数据总量、所述当前分片的分片数量及所述待扩展机器的分片数量，将所述当前分片中每个分片的部分数据量迁移到所述待扩展器中包括：

根据所述当前分片中的数据总量、所述当前分片的分片数量及所述待扩展机器的分片数量，确定所述当前分片中每个分片的待迁移数据量；

根据所述当前分片中每个分片的待迁移数据量，确定所述当前分片中每个分片的待迁移数据块；

根据所述当前分片中每个分片的待迁移数据块，获取所述当前分片中每个分片的待迁移数据块的地址区间；

根据所述当前分片中每个分片的待迁移数据块，及所述当前分片中每个分片的待迁移数据块的地址区间；配置所述待扩展机器的分片中每个分片。