[发明专利]一种基于水平分区的数据库自动分区管理方法及系统

说明书

本发明特别涉及一种基于水平分区的数据库自动分区管理方法及系统。该基于水平分区的数据库自动分区管理方法，按业务需求灵活配置分区属性，自动执行分区操作，按照配置周期自动进行任务调度，通过周期性的巡检满足时间间隔的分区对象，按照配置信息进行分区的创建、删除以及数据转储，一次配置后中间无需人工干预，进而实现自动分区管理。该基于水平分区的数据库自动分区管理方法及系统，不仅能够在不影响线上业务的正常运行的同时实现MySQL数据库的有效分区，提高了数据库访问性能，同时还减少了人工干预，简化了分区操作，能够避免人工错写误写造成的隐患，节省了大量人力成本。

技术领域

本发明涉及数据库扩展技术领域，特别涉及一种基于水平分区的数据库自动分区管理方法及系统。

背景技术

随着互联网技术的迅速发展，数据量急剧膨胀，而越来越大的数据量必然导致数据库性能的下滑。在不影响线上业务正常运行的前提下，如何管理这些数据，控制数据规模便成为了企业不得不解决的问题。对MySQL数据库进行水平分表是最常见的解决方案之一。

MySQL是一个小型关系型数据库管理系统，MySQL数据库中的数据是以文件的形式存储在磁盘上的。如果一张表的数据量太大，那么文件容量就会变大，查找数据便随之变慢。此时如果将数据库进行水平分区(依然保留列)，按一定规则将一整张大表进行横向切分，使记录分散在各个分区上，再查询和访问时，只需要针对部分文件进行，而不是整张大表，就能有效增加访问速度和写入速度，响应更快。同时，对于已经失效或不关心的数据，比如过时的性能数据、日志记录等，可将其所在分区进行分区删除或数据转储。

然而MySQL数据库并不能够对分区进行自动操作，所以一般分区的使用方式是数据库管理员通过现场编写SQL语句手动执行来实现对数据库分区的操作。但存在以下几个问题：

一是由于数据要求写入已存在且符合规则的分区中，如果数据库维护人员没有提前创建预期分区，则新的数据将无法写入正确分区，甚至造成数据丢失；

二是MySQL数据库提供的分区配置单一，无法满足诸如单次创建多个分区等业务需求；

三是由于人工操作，难免存在数据库维护人员编写实现分区SQL过程中错写误写的隐患；

四是分区操作大多属于周期性重复工作，耗费人力。

基于上述情况，本发明设计了一种基于水平分区的数据库自动分区管理方法及系统。在能够有效分区，提高数据库访问性能的同时，尽量减少人工干预，简化分区操作，并且对线上业务的正常运行不产生任何影响。

发明内容

本发明为了弥补现有技术的缺陷，提供了一种简单高效的基于水平分区的数据库自动分区管理方法及系统。

本发明是通过如下技术方案实现的：

一种基于水平分区的数据库自动分区管理方法，其特征在于：按业务需求灵活配置分区属性，自动执行分区操作，按照配置周期自动进行任务调度，通过周期性的巡检满足时间间隔的分区对象，按照配置信息进行分区的创建、删除以及数据转储，一次配置后中间无需人工干预，进而实现自动分区管理；具体包括以下步骤：

(1)对指定数据表，字段和/或周期进行分区创建；将现有数据存入第一个分区，将第一时间点至第二时间点区间的数据存入第二个分区；

(2)对时间范围外的数据进行分区删除，减少数据表的数据规模；对需要持久化的数据进行分区数据转储为文件；

(3)配置定时执行周期，自动执行分区操作，实现分区调度任务；

(4)记录分区操作所产生日志，用于问题回朔和排查；

(5)当关键数据表分区出现故障时，及时向数据库管理员发出报警。