[发明专利]一种数据处理方法、装置、设备及计算机可读存储介质

说明书

本发明提供一种数据处理方法、装置、设备及计算机可读存储介质。该方法包括：根据接收到的客户标签数据的数量计算所需用于保存所述客户标签数据的数据表的数量，并创建相应数量的数据表；构建一致性哈希环，将所述数据表均匀地映射至所述一致性哈希环；获取每条所述客户标签数据的主键字段；利用一致性哈希算法对所述主键字段进行哈希处理得到对应客户标签数据的哈希值，一个所述哈希值等于所述一致性哈希环上的一个空间值；根据所述哈希值确定用于存储对应的客户标签数据的数据表；将所述客户标签数据保存在所述数据表中。本发明通过哈希分表的方式可以将大量的客户标签数据均匀地存储到每个数据表中。

技术领域

本发明涉及信息处理技术领域，尤其涉及一种数据处理方法、装置、设备及计算机可读存储介质。

背景技术

项目中经常遇到大批量数据(几亿至十几亿不等)需要写入数据库的情况，一般的方法是写存储过程。

目前存在一种批量存储大量数据的方法，通过一致性哈希算法将存储节点映射到一致性哈希环上，根据每条数据的哈希值在一致性哈希环上按顺时针方向寻找存储该数据的存储节点，最终将数据写入到对应的存储节点。

每条数据哈希后的哈希值在一致性哈希环是具有随机分布的特性，也就是说，数据哈希后的哈希值在一致性哈希环上的分布可能会出现疏密情况，这样再按照顺时针方向寻找存储节点来保存数据的话，容易导致数据存储不均匀；另外，当存储节点的数量不超过10时，根据一致性哈希算法将存储节点映射到一致性哈希环上，存储节点在一致性哈希环上的映射也不一定是均匀的，如此，即使数据的哈希值在一致性哈希环上是均匀分布的，最终保存数据的存储节点保存到的数据量也不一定是均匀的。

发明内容

本发明实施例提供了一种数据处理方法、装置、设备及计算机可读存储介质，能够均匀地将大批量数据存储到各个数据表中。

第一方面，本发明实施例提供了一种数据处理方法，该方法包括：

根据接收到的客户标签数据的数量计算所需用于保存所述客户标签数据的数据表的数量，并创建相应数量的数据表；

构建一致性哈希环，将所述数据表均匀地映射至所述一致性哈希环；

获取每条所述客户标签数据的主键字段；

利用一致性哈希算法对所述主键字段进行哈希处理得到对应客户标签数据的哈希值，一个所述哈希值等于所述一致性哈希环上的一个空间值；

根据所述哈希值确定用于存储对应的客户标签数据的数据表；

将所述客户标签数据保存在所述数据表中。第二方面，本发明实施例还提供了一种数据处理装置，所述数据处理装置包括用于实现第一方面所述的数据处理方法的单元。

第三方面，本发明实施例还提供了一种数据处理设备，所述数据处理设备包括存储器，以及与所述存储器相连的处理器；

所述存储器，用于存储实现数据处理方法的计算机程序；

所述处理器，用于运行所述存储器中存储的计算机程序，以执行如上述第一方面所述的方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者一个以上计算机程序，所述一个或者一个以上计算机程序可被一个或者一个以上的处理器执行，以实现上述第一方面所述的方法。