[发明专利]一种基于Redis的海量数据分类存储方法及系统

权利要求书

1.一种基于Redis的海量数据分类存储方法，其特征在于，包括：

步骤S1：将数据分类，并为每一个类别数据定义一个数据类别ID；

步骤S2：针对每一种数据类别，根据对应的实际业务的数据规模，计算hash桶的数量N；

步骤S3：将数据标识ID、数据类别ID以及数据桶的数量N作为入参因子，进行hash计算，得到hash key以及field；

步骤S4：将数据标识ID对应的数据内容作为hash value；

步骤S5：将hash key、field以及hash value存储至redis中；

所述步骤S3中hash key包括：分别将数据标识ID、数据类型ID以及数据桶的数量N作为因子，使用hash算法A，计算出整数型的散列结果A，并将整数型的散列结果A作为redis的hash数据类型的hash key；

所述hash算法A是利用CRC32算法对数据标识ID进行分散计算后，再对hash桶数量进行求余计算，实现把不同的用户数据的key尽可能均匀的保存到不同的数据桶中；

所述整数型的散列结果A包括：

整数型的散列结果A＝数据类别ID*数据桶的数量N+数据标识ID’；

所述数据标识ID’为通过对数据标识ID进行CRC算法计算后，再对hash桶数量求余；

所述步骤S3中field包括：将数据标识ID作为唯一因子，通过hash算法B计算出整数型的散列结果B；将散列结果B作为hash key的field；

所述hash算法B是利用BKDRHash算法对数据标识ID进行hash计算得到一个低碰撞的整数，使得保存到同一个数据桶中的不同用户数据的field不一样；

所述整数型的散列结果B利用BKDRHash算法对数据标识ID进行hash计算得到。

2.根据权利要求1所述的基于Redis的海量数据分类存储方法，其特征在于，所述步骤S2包括：

N＝总数据量/512，N向上取整。

3.根据权利要求1所述的基于Redis的海量数据分类存储方法，其特征在于，还包括读取基于Redis分类存储的海量数据；

所述读取基于Redis分类存储的海量数据包括：根据数据标识ID、数据类别ID以及数据类别对应的hash桶数据量N作为入参因子，进行hash计算，得到hash key以及field；以hashkey和field入参，通过redis hash的hget命令从redis中读出hash value数据标识ID对应的数据内容。