[发明专利]一种数据的管理方法及装置

说明书

本申请提供了一种数据的管理方法及装置，所述方法包括：在请求写入数据或读取数据时，获取所述数据的标识值；确定所述标识值对应的数据库组；其中，每个所述数据库组用于存储所述标识值在所述数据库组对应的预设范围内的数据；计算得到所述标识值除以所述数据库组对应的预设目标值的余数；从所述数据库组中确定出与所述余数存在预设对应关系的数据库；在所述数据库中响应所述数据的写操作或读操作。在基于存储范围确定相应的数据库组后，通过取模的方式保证了数据均匀落到数据库组的多个数据库中，有效地避免了热点问题。并且，在扩容时可直接扩充另一个数据库组，不影响其他数据库组的数据库和存储表的数量，保证了先前存储的数据的正常访问。

技术领域

本申请涉及数据管理技术领域，特别涉及一种数据的管理方法及装置。

背景技术

随着业务数据量的增加，数据库中数据的存储量和访问量也不断的增加。现有技术通常会通过分表的方式，将数据库中的一个存储表分为多个存储表，降低单个存储表的数据量，从而减少数据查询时间，提高数据的访问效率。以及通过分库的方式，将数据库分为多个数据库，从而实现并发访问。

现有技术中，基于分表和分库的存储方式通常有两种方式。一种是基于哈希取模的方式，通过数据的标识值除以数据库或存储表的总数量的余数，与数据库或存储表的对应关系，确定数据的存储位置。但是这种方式在增加存储表或数据库进行扩容时，数据库或存储表的总数量将会增加，那么对于同一标识值，计算得到余数也就会发生变化，从而将会造成确定出的数据库或存储表并非先前存储该数据的数据库或存储表，导致无法访问到先前存储的数据。

另一种则是基于存储范围的方式，预先为每个存储表或数据库，设定相应的存储范围，以分别存储标识值在对应的存储范围内的数据。但是，在一段时间内的数据的标识值，大多属于同一存储范围内，所以会造成数据的存储或访问主要集中在某个存储表或数据库上，从而出现热点问题。

所以如何在通过分表和分库的方式存储数据时，有效地避免出现热点问题，又能解决扩容后出现的无法访问数据的情况，显得尤为重要。

发明内容

基于上述现有技术的不足，本申请提供了一种数据的管理方法及装置，以解决现有通过分表和分库进行数据存储时，存在的热点问题以及在扩容后出现的无法访问数据的情况，从而造成无法正常进行扩容的问题。

为了实现上述目的，本申请提供了以下技术方案：

本申请第一方面提供了一种数据的管理方法，包括：

在请求写入数据或读取数据时，获取所述数据的标识值；

确定所述标识值对应的数据库组；其中，每个所述数据库组用于存储所述标识值在所述数据库组对应的预设范围内的数据；

计算得到所述标识值除以所述数据库组对应的预设目标值的余数；

从所述数据库组中确定出与所述余数存在预设对应关系的数据库；

在所述数据库中响应所述数据的写操作或读操作。

可选地，在上述的方法中，所述在请求写入数据时，获取所述数据的标识值，包括：

在请求写入数据时，生成所述数据对应的唯一标识；

对所述标识进行哈希计算，得到所述数据的标识值；其中，一个数据对应一个标识值；所述标识值为有序的，并且随着数据写入的时间不断递增的数值。

可选地，在上述的方法中，所述请求读取数据时，获取所述数据的标识值，包括：

在请求读取数据时，从所述请求的目标字段中获取所述数据对应的标识；

对所述标识进行哈希计算，得到所述数据的标识值。