[发明专利]一种数据插入方法、装置、设备和储存介质

说明书

本发明实施例公开了一种数据插入方法、装置、设备和储存介质，该方法包括：根据获取到的数据插入命令，确定所述数据插入命令的插入动作类型；当所述插入动作类型为动态分区插入时，根据目标表的元信息，确定所述目标表的分区分桶信息；根据所述分区分桶信息，将待插入数据分为至少一组；根据所述分区分桶信息，对组内的所述待插入数据进行排序；按照所述待插入数据在组内的顺序，将每组所述待插入数据依次动态插入对应的目标表文件。本发明实施例的技术方案，在保证系统稳定的情况下，提高动态分区插入的性能。

技术领域

本发明实施例涉及数据存储技术，尤其涉及一种数据插入方法、装置、设备和储存介质。

背景技术

随着应用场景的复杂化，数据经常在不同数据库之间流转。而随着大数据时代的到了，数据库之间导入或导出的数据量也越来越大。

分区是数据库中常用的数据组织方式，现有方法大都采用单个分区逐个插入的方式，在处理大批量数据时性能无法满足要求。如果要同时插入不同分区，则会因为长时间同时操作不同分区的太多文件，导致系统不稳定，例如内存使用过多、打开的文件句柄数量多大等问题。

发明内容

本发明实施例提供一种数据插入方法、装置、设备和储存介质，以实现在保证系统稳定的情况下，提高动态分区插入的性能。

第一方面，本发明实施例提供了一种数据插入方法，包括：

根据获取到的数据插入命令，确定所述数据插入命令的插入动作类型；

当所述插入动作类型为动态分区插入时，根据目标表的元信息，确定所述目标表的分区分桶信息；

根据所述分区分桶信息，将待插入数据分为至少一组；

根据所述分区分桶信息，对组内的所述待插入数据进行排序；

按照所述待插入数据在组内的顺序，将每组所述待插入数据依次动态插入对应的目标表文件。

第二方面，本发明实施例还提供了一种数据插入装置，包括：

插入动作类型确定模块，用于根据获取到的数据插入命令，确定所述数据插入命令的插入动作类型；

分区分桶信息确定模块，用于当所述插入动作类型为动态分区插入时，根据目标表的元信息，确定所述目标表的分区分桶信息；

数据分组模块，用于根据所述分区分桶信息，将待插入数据分为至少一组；

数据排序模块，用于根据所述分区分桶信息，对组内的所述待插入数据进行排序；

数据插入模块，用于按照所述待插入数据在组内的顺序，将每组所述待插入数据依次动态插入对应的目标表文件。

第三方面，本发明实施例还提供了一种设备，所述设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所提供的数据插入方法。

第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行本发明任意实施例所提供的数据插入方法。

本发明实施例通过对待插入数据分组排序，逐个插入目标表，同时只打开一个文件，解决长时间同时操作不同分区的大量文件，导致系统不稳定的问题，实现在保证系统稳定的情况下，提高动态分区插入的性能的效果。

附图说明

图1是本发明实施例一中的一种数据插入方法的流程图；