[发明专利]数据存储方法、装置、设备及计算机存储介质

说明书

本申请实施例提供了一种数据存储方法、装置、设备及计算机存储介质。其中方法包括：计算不同分布键对应的目标数据在多个存储节点的数据分布均匀度，基于分布均匀度最高的目标数据的目标分布键及目标阶段存储目标数据。根据本申请实施例的数据存储方法，能够避免数据分配时因数据倾斜造成的存储空间不足的问题。

技术领域

本申请属于互联网技术领域，尤其涉及一种数据分配方法、装置、设备及计算机存储介质。

背景技术

目前，大规模并行处理(Massively Parallel Processing，MPP)数据库作为数据库架构的新型数据库集群，包含多个节点，每个节点都是一个单独的数据库。在数据存储时，通过哈希分布中记录的键值哈希至桶，再将桶存储至每个节点，进而实现数据的分配，其中每个“桶”中包含键值相同的数据。

上述方法在对数据进行分配存储时，如果分布列选择不当，会出现数据倾斜的现象，导致某个节点存储数据过多，存储空间不足。

发明内容

本申请实施例提供一种数据存储方法、装置、设备及计算机存储介质，能够通过确定基于不同分布键的数据分布情况，确定数据分布最均匀的存储方案，避免了数据倾斜的情况。

第一方面，本申请实施例提供一种数据存储方法，方法包括：

获取多个分布键对应的目标数据；

分别计算多个分布键中每个分布键对应的目标数据的哈希值；

分配每个分布键对应的目标数据至目标数据的哈希值对应的存储节点；

分别计算每个分布键对应的目标数据在存储节点的数据分布均匀度，数据分布均匀度用于描述目标数据的分配情况；

确定最高分布均匀度的目标数据存储的目标节点，以及目标数据对应的目标分布键；

根据目标分布键对应的目标数据哈希值将目标数据存储至目标节点。

第二方面，本申请实施例提供了一种数据存储装置，装置包括：

获取模块，用于获取多个分布键对应的目标数据；

计算模块，用于分别计算多个分布键中每个分布键对应的目标数据的哈希值；

分配模块，用于分配每个分布键对应的目标数据至目标数据的哈希值对应的存储节点；

计算模块，还用于分别计算每个分布键对应的目标数据在存储节点的数据分布均匀度，数据分布均匀度用于描述目标数据的分配情况；

确定模块，用于确定最高分布均匀度的目标数据存储的目标节点，以及目标数据对应的目标分布键；

存储模块，用于根据目标分布键对应的目标数据哈希值将目标数据存储至目标节点。

第三方面，本申请实施例提供了一种数据存储设备，设备包括：

处理器，以及存储有计算机程序指令的存储器；

处理器读取并执行计算机程序指令，以实现第一方面的数据存储方法。

第四方面，本申请实施例提供了一种计算机存储介质，计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现第一方面的数据存储方法。

本申请实施例的数据存储方法、装置、设备及计算机存储介质，能够通过计算不同分布键对应的目标数据在多个存储节点的数据分布均匀度，确定数据分布均匀度最高的目标数据对应的分布键为目标分布键，基于目标分布键将目标数据存储至多个存储节点，避免了数据分配时的数据倾斜的现象。

附图说明