[发明专利]一种数据重分布的方法和装置

说明书

本发明实施例提供一种数据重分布方法和装置，所述数据重分布方法包括：响应计算节点发来的数据重分布请求，根据原表信息创建对应于请求的规则表；生成规则表数据并发送到规则表数据对应的存储节点；将规则表数据导入到规则表；按照原表补齐规则表的数据；按照规则表的方式访问数据。通过生成新的规则表，不用对原有的数据进行迁移，提高了数据重分布的效率，并有效地降低重分布过程中数据迁移带来的影响。

技术领域

本发明实施例涉及但不限于数据库领域，具体而言，涉及但不限于数据重分布的控制方法和装置。

背景技术

目前应用的数据库并发度高、数据增长快、7*24小时提供服务。随着业务的扩展，数据的扩展可能是数量级的递增，所以拥有良好的横向扩展能力的分布式数据库得到广泛的应用。分布式数据库一般采用无共享(share nothing)的架构，即每一个节点都有独立的存储，节点间不共享存储，数据根据规则分布到多个节点上，节点之间一般通过光纤等网络连接。

分布式数据库具备良好的伸缩性，可根据业务场景灵活地分布节点数据。例如，随着数据量的量级增长，对数据存储空间和查询有进一步的要求，需要对原有的分布式数据库进行扩容，增加新的数据节点到分布式数据库中，并进行数据迁移。

数据重分布业界主要有两种方法：

1.锁定要重分布的表，不能执行读写操作，直到表中的数据重分布全部完成。根据数据量的大小以及资源限制，数据重分布的耗时可能达到几小时甚至几天，可能导致业务长时间无法对正在重分布的表进行操作，从而产生严重的影响。

2.更常见的方法是将创建新表，将旧表存储的数据全量导出，然后按照新的规则全部导入到新表中，然后追加增量数据，完成后锁定旧表，将切换使用新表。这种处理方式效率低、网络压力大、存储空间要求高，且追增量的过程根据业务的量呈现不同的时间跨度，甚至可能存在一直追不上的问题。

数据库系统在运行过程中，使用上述现有的两种重分布方法，对现网环境的要求比较高，同时对运维操作人员的应急处理能力要求更高。

分布式数据库重分布场景，除了扩容之外，还有缩容、修改分发方式、修改分发字段等场景，这些场景是数据库运维人员经常要面对的，也是成熟数据库产品应具备的功能。

发明内容

本发明实施例提供的数据重分布方法和装置，解决了现有技术中数据重分布处理方式效率低、开销大的问题。

为解决上述技术问题，本发明实施例提供一种数据重分布方法，包括：

响应计算节点发来的数据重分布请求，根据原表信息创建对应于请求的规则表；生成规则表数据并发送到规则表数据对应的存储节点；将规则表数据导入到规则表；按照原表补齐规则表的数据；按照规则表的方式访问数据。

进一步地，其中规则表包括分片键和元数据信息。

进一步地，其中所述生成规则表数据包括：导出分发键值和节点号信息，并按照请求中所包含的分发规则拆分成对应存储节点的文件；记录分片键和分发模式，以及对应分片键上执行成功的INSERT/UPDATE/DELETE语句。

进一步地，其中所述将所述规则表和所述原表的所述分片键与所述INSERT/UPDATE/DELETE语句记录的分片键进行比对，所述规则表缺少所述分片键对应的数据则插入所述原表中所述分片键对应的数据，所述规则表中多出了所述分片键对应的数据则删除所述分片键对应的数据，所述规则表中针对所述分片键对应的数据与所述原表中的相应数据不一致时则修改为所述原表中所述分片键对应的数据。

进一步地，其中所述按照原表补齐规则表的数据之前还包括：对需要数据重分布的表增加读锁；其中所述按照所述规则表的方式访问数据之后还包括：释放读锁。

本发明实施例还提供一种数据重分布的装置，包括：