[发明专利]一种数据加载方法和装置

权利要求书

1.一种数据加载方法，其特征在于，所述方法包括：

根据需要加载的数据的主键字段对所述需要加载的数据排序，并生成数据文件；

采用固定间隔对排序后的所述需要加载的数据的主键字段采样，生成第一主键字段；

根据所述第一主键字段生成数据表的分区信息，并根据所述数据表的分区信息对所述数据表进行分区；

根据所述数据表的分区信息对所述数据文件进行分组，并根据分组结果生成数据表的分区文件；

将所述数据表的分区文件加载到对应的数据表的分区中。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述需要加载的数据切片，得到n组预处理数据；其中，n为正整数；

相应的，所述根据需要加载的数据的主键字段对所述需要加载的数据排序，并生成数据文件，包括：

根据所述预处理数据的主键字段分别对所述n组预处理数据排序，并生成n个数据文件。

3.根据权利要求2所述的方法，其特征在于，所述对排序后的所述需要加载的数据的主键字段采样，得到第一主键字段，包括：

对排序后的所述n组预处理数据的主键字段分别采样，生成n组第二主键字段；

对所述n组第二主键字段整体排序，并对整体排序后的所述n组第二主键字段采样，生成所述第一主键字段。

4.根据权利要求1所述的方法，其特征在于，所述根据所述第一主键字段生成数据表的分区信息，并根据所述数据表的分区信息对数据表进行分区，包括：

根据所述第一主键字段获取所述数据表的分区区间的起始字段和结束字段；

根据所述数据表的分区区间的起始字段和结束字段对数据表进行分区。

5.根据权利要求2所述的方法，其特征在于，所述根据所述数据表的分区信息对所述数据文件进行分组，并根据分组结果生成数据表的分区文件，包括：

根据所述数据表的分区信息将第i个数据文件分为N_i组数据文件；

根据数据表的第j个分区信息在N₁+N₂+…+N_n组数据文件中筛选符合所述第j个分区信息的数据文件，并生成数据表的第j个分区文件；其中，i=1、2…n，j=1、2…s，s、N_i均为正整数。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述数据表的分区文件中的数据进行切片；

相应的，将所述数据表的分区文件加载到对应的数据表的分区中，包括：

将进行数据切片后的所述数据表的分区文件加载到对应的数据表的分区中。

7.一种数据加载装置，其特征在于，所述装置包括：

排序模块，用于根据需要加载的数据的主键字段对所述需要加载的数据排序，并生成数据文件；

采样模块，用于采用固定间隔对排序后的所述需要加载的数据的主键字段采样，生成第一主键字段；

分区模块，用于根据所述第一主键字段生成数据表的分区信息，并根据所述数据表的分区信息对所述数据表进行分区；

处理模块，用于根据所述数据表的分区信息对所述数据文件进行分组，并根据分组结果生成数据表的分区文件；

加载模块，用于将所述数据表的分区文件加载到对应的数据表的分区中。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

切片模块，用于对所述需要加载的数据切片，得到n组预处理数据；其中，n为正整数；

所述排序模块，具体用于根据所述预处理数据的主键字段分别对所述n组预处理数据排序，并生成n个数据文件。

9.根据权利要求8所述的装置，其特征在于，

所述采样模块，具体用于对排序后的所述n组预处理数据的主键字段分别采样，生成n组第二主键字段；对所述n组第二主键字段整体排序，并对整体排序后的所述n组第二主键字段采样，生成所述第一主键字段。

10.根据权利要求8所述的装置，其特征在于，所述处理模块包括：

分组单元，用于根据所述数据表的分区信息将第i个数据文件分为N_i组数据文件；

筛选单元，用于根据数据表的第j个分区信息在N₁+N₂+…+N_n组数据文件中筛选符合所述第j个分区信息的数据文件，并生成数据表的第j个分区文件；其中，i=1、2…n，j=1、2…s，s、N_i均为正整数。