[发明专利]一种数据插入方法、装置、设备和储存介质

权利要求书

1.一种数据插入方法，其特征在于，包括：

根据获取到的数据插入命令，确定所述数据插入命令的插入动作类型；

当所述插入动作类型为动态分区插入时，根据目标表的元信息，确定所述目标表的分区分桶信息；

根据所述分区分桶信息，将待插入数据分为至少一组；

根据所述分区分桶信息，对组内的所述待插入数据进行排序，以使组内的对应同一个目标表分区的所述待插入数据是相邻且连续排列的；

按照所述待插入数据在组内的顺序，将每组所述待插入数据依次动态插入对应的目标表文件。

2.根据权利要求1所述的方法，其特征在于，所述根据所述分区分桶信息，将待插入数据分为至少一组，包括：

当所述目标表为分区非分桶表，按照第一分组规则将所述待插入数据分为至少一组。

3.根据权利要求2所述的方法，其特征在于，所述按照第一分组规则将所述待插入数据分为至少一组，包括：

获取预设分组数；

确定每一条所述待插入数据的分组标识数；其中，所述分组标识数包括所述待插入数据的预设字段的hash值或所述待插入数据对应的随机数；

根据分组号和所述分组标识数对组数取模的结果，将所述待插入数据分配到对应的数组。

4.根据权利要求1所述的方法，其特征在于，所述根据所述分区分桶信息，将待插入数据分为至少一组，包括：

当所述目标表为分区分桶表，将所述待插入数据根据分桶列对应列的hash值分组。

5.根据权利要求1所述的方法，其特征在于，所述根据所述分区分桶信息，对组内的所述待插入数据进行排序，包括：

当所述目标表的为多级分区表，按照所述目标表分区的顺序，对组内的所述待插入数据进行排序。

6.根据权利要求1所述的方法，其特征在于，所述根据所述分区分桶信息，对组内的所述待插入数据进行排序，包括：

当所述目标表的为多级范围分区表，按照所述目标表分区字段映射到分区之后的顺序，对组内的所述待插入数据进行排序。

7.根据权利要求1所述的方法，其特征在于，所述按照所述待插入数据在组内的顺序，将每组所述待插入数据依次动态插入对应的目标表文件，包括：

将组内第一行作为当前行，打开对应的文件句柄，将第一行的所述待插入数据写入当前文件句柄；

依次读取后一行作为当前行，如果当前行属于当前文件句柄对应的所述目标表文件，将当前行的所述待插入数据写入当前文件句柄；

如果当前行不属于当前文件句柄对应的所述目标表文件，关闭当前文件句柄，打开当前行对应的文件句柄，将当前行的所述待插入数据写入当前文件句柄；

当读取不到下一行时，结束本组所述待插入数据的插入操作；按预设顺序完成所有组的插入操作。

8.一种数据插入装置，其特征在于，包括：

插入动作类型确定模块，用于根据获取到的数据插入命令，确定所述数据插入命令的插入动作类型；

分区分桶信息确定模块，用于当所述插入动作类型为动态分区插入时，根据目标表的元信息，确定所述目标表的分区分桶信息；

数据分组模块，用于根据所述分区分桶信息，将待插入数据分为至少一组；

数据排序模块，用于根据所述分区分桶信息，对组内的所述待插入数据进行排序，以使组内的对应同一个目标表分区的所述待插入数据是相邻且连续排列的；

数据插入模块，用于按照所述待插入数据在组内的顺序，将每组所述待插入数据依次动态插入对应的目标表文件。

9.一种设备，其特征在于，所述设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的数据插入方法。

10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的数据插入方法。