[发明专利]一种基于分组进行数据分库分表的方法及其系统

说明书

本发明提供了一种基于分组进行数据分库分表的方法，所述方法为：步骤S1、设置一分组概念，即组中包括多个的分库和多个的分表的集合，每个组均对应多个的订单库，每个订单库均对应多个的订单表；步骤S2、根据数据范围，将数据进行定位分组；步骤S3、分组后，根据哈希取模的方式进行定位到具体的订单库；步骤S4、根据数据的ID范围进行定位到具体的订单表，从而完成分库分表操作；能更加充分地利用服务器的性能。

技术领域

本发明涉及计算机通讯技术领域，特别是一种基于分组进行数据分库分表的方法及其系统。

背景技术

中大型项目中，一旦遇到数据量比较大，就需要对数据进行拆分，一般有垂直和水平两种。垂直拆分一般从业务角度出发将原单库拆分多个库；水平拆分是将大数据拆分至多张表中，以缓解数据读写压力。目前分库分表方案中有常用的方案主要有：哈希（hash）取模的方案；其中，涉及的算法主要是路由算法，把路由的 key 按照指定的算法进行路由存放。

哈希（hash）取模方案，就是对指定的路由key（如：ID）对分表总数进行取模，数据可以均匀分配并存放到多张表中，这样此数据进行操作时，就不会有热点问题；但是缺点是扩容迁移数据较困难，重新做一个 hash 方案，放到新的规划分表中，有可能需要停机迁移，影响项目可用性。

发明内容

为克服上述问题，本发明的目的是提供一种基于分组进行数据分库分表的方法，既不需要迁移数据，又能解决数据热点的问题。

本发明采用以下方案实现：一种基于分组进行数据分库分表的方法，所述方法包括如下步骤：

步骤S1、设置一分组概念，即组中包括多个的分库和多个的分表的集合，每个组均对应多个的订单库，每个订单库均对应多个的订单表；

步骤S2、根据数据范围，将数据进行定位分组；

步骤S3、分组后，根据哈希取模的方式进行定位到具体的订单库；

步骤S4、根据数据的ID范围进行定位到具体的订单表，从而完成分库分表操作。

进一步的，所述分组是按照存放的数据范围进行划分，其中每个分组中的订单表的总数是固定的，且每个订单库中存放的订单表的数量也是固定的，每个订单表都设置有数据的ID数据范围；在接收到数据后，根据数据的ID的值进行路由分配到要划分的组中。

进一步的，所述步骤S3进一步具体为：每个组中的订单库都对应有编号，即订单库0、订单库1...订单库n；每个订单库中的订单表都对应有编号，即订单表0、订单表2...订单表m，其中n和m为整数；则订单表的编号是从小到大的顺序依次分配到订单库中，根据哈希取模的方式为：根据订单表的总数进行取模，即分组1，订单表的分表的总数为10，则数据的ID值按照10进行取模定位到对应的订单库，则设置订单库0中有4个订单表，即订单表0、订单表1、订单表2、订单表3存储在订单库0中，数据的ID值按照10进行取模后是0，1，2，3中的任意一个数值，则该数据定位到订单库0中，同理，设置订单库1中有3个订单表，即订单表4、订单表5、订单表6存储在订单库1中，数据的ID值按照10进行取模后是4，5，6中的任意一个数值，则该数据定位到订单库1中，依次类推，将数据进行定位到具体的订单库。

进一步的，所述步骤S4进一步具体为：将数据的ID值与订单表中数据的ID数据范围进行比对，要是数据的ID值落入订单表中数据的ID数据范围；则定位到具体的订单库中的订单表，从而完成分库分表操作。

本发明还提供了一种基于分组进行数据分库分表的系统，所述系统包括分组设定模块、分组定位模块、订单库定位模块、以及订单表定位模块；

所述分组设定模块，用于设置一分组概念，即组中包括多个的分库和多个的分表的集合，每个组均对应多个的订单库，每个订单库均对应多个的订单表；

所述分组定位模块，用于根据数据范围，将数据进行定位分组；

所述订单库定位模块，用于分组后，根据哈希取模的方式进行定位到具体的订单库；