[发明专利]一种数据加载方法和装置

说明书

本发明实施例提供一种数据加载方法，该方法包括：根据需要加载的数据的主键字段对需要加载的数据排序，并生成数据文件；对排序后的需要加载的数据的主键字段采样，生成第一主键字段；根据第一主键字段生成数据表的分区信息，并根据数据表的分区信息对数据表进行分区；根据数据表的分区信息对数据文件进行分组，并根据分组结果生成数据表的分区文件；将数据表的分区文件加载到对应的数据表的分区中。本发明实施例同时还提供一种数据加载装置。

技术领域

本发明涉及数据处理领域，尤其涉及一种数据加载方法和装置。

背景技术

在数据库中查询数据时，首先要将数据库中的数据表在系统内先进行加载，待加载完成后才能进行数据查询。

现有的数据加载方法往往对需要加载的数据按照表分区信息进行切片，然后将切片后的数据加载到分布式数据库中。

然而这种数据加载方法可能会导致被加载的数据集中在某几个数据表的分区中，而其它数据表的分区不存在或者只存在少量的数据，从而导致数据切片倾斜，影响数据加载性能以及数据表分区的负载均衡。

发明内容

有鉴于此，本发明实施例期望提供一种数据加载方法和装置，以解决数据倾斜造成的数据加载性能效率低、数据表分区负载不均衡的问题。

本发明实施例的技术方案是这样实现的：

一种数据加载方法，包括：

根据需要加载的数据的主键字段对所述需要加载的数据排序，并生成数据文件；

对排序后的所述需要加载的数据的主键字段采样，生成第一主键字段；

根据所述第一主键字段生成数据表的分区信息，并根据所述数据表的分区信息对所述数据表进行分区；

根据所述数据表的分区信息对所述数据文件进行分组，并根据分组结果生成数据表的分区文件；

将所述数据表的分区文件加载到对应的数据表的分区中。

如上所述的方法，还包括：

对所述需要加载的数据切片，得到n组预处理数据；其中，n为正整数；

相应的，所述根据需要加载的数据的主键字段对所述需要加载的数据排序，并生成数据文件，包括：

根据所述预处理数据的主键字段分别对所述n组预处理数据排序，并生成n个数据文件。

如上所述的方法，所述对排序后的所述需要加载的数据的主键字段采样，得到第一主键字段，包括：

对排序后的所述n组预处理数据的主键字段分别采样，生成n组第二主键字段；

对所述n组第二主键字段整体排序，并对整体排序后的所述n组第二主键字段采样，生成所述第一主键字段。

如上所述的方法，所述根据所述第一主键字段生成数据表的分区信息，并根据所述数据表的分区信息对数据表进行分区，包括：

根据所述第一主键字段获取所述数据表的分区区间的起始字段和结束字段；

根据所述数据表的分区区间的起始字段和结束字段对数据表进行分区。

如上所述的方法，所述根据所述数据表的分区信息对所述数据文件进行分组，并根据分组结果生成数据表的分区文件，包括：

根据所述数据表的分区信息将第i个数据文件分为N_i组数据文件；