[发明专利]数据入库方法及计算机可读存储介质

说明书

本发明公开了一种数据入库方法及计算机可读存储介质，方法包括：根据预设的周期，获取待入库数据；根据预设的存储格式，将所述待入库数据存储为临时文件，并将所述临时文件上传至分布式对象存储系统；根据数据库中的目标表的字段，创建S3外部表，并将所述S3外部表的存储路径设置为所述分布式对象存储系统的存储路径；通过所述S3外部表，将所述临时文件中的数据导入至所述目标表。本发明可提高批量数据的导入速度，且可降低主节点的负载。

技术领域

本发明涉及数据存储技术领域，尤其涉及一种数据入库方法及计算机可读存储介质。

背景技术

对于Greenplum数据库，在数据批量入库时，如果使用传统的“insert into目标表values()”方式进行批量入库，那么在数据量很大的时候，不仅速度不够快，并且对于Greenplum的master节点(主节点)会造成很大的压力；同时如果导入数据要覆盖掉原表数据，采用先清空后导入的方法会造成导入数据期间查询表数据为空的问题，若导入到的目标表有索引，导入速度还会慢很多。

因此，如何提高Greenplum数据库的批量数据导入速度成为有待解决的问题。

发明内容

本发明所要解决的技术问题是：提供一种数据入库方法及计算机可读存储介质，可提高批量数据的导入速度，且可降低主节点的负载。

为了解决上述技术问题，本发明采用的技术方案为：一种数据入库方法，包括：

根据预设的周期，获取待入库数据；

根据预设的存储格式，将所述待入库数据存储为临时文件，并将所述临时文件上传至分布式对象存储系统；

根据数据库中的目标表的字段，创建S3外部表，并将所述S3外部表的存储路径设置为所述分布式对象存储系统的存储路径；

通过所述S3外部表，将所述临时文件中的数据导入至所述目标表。

本发明还提出一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上所述的方法。

本发明的有益效果在于：通过S3外部表实现批量数据的导入，可有效利用计算节点并行装载数据，提高批量数据的导入速度，且数据不经过主节点，降低了主节点的负载，使得数据的导入不受主节点的瓶颈限制。

附图说明

图1为本发明的一种数据入库方法的流程图；

图2为本发明实施例一的方法流程图。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图详予说明。

请参阅图1，一种数据入库方法，包括：

根据预设的周期，获取待入库数据；

根据预设的存储格式，将所述待入库数据存储为临时文件，并将所述临时文件上传至分布式对象存储系统；

根据数据库中的目标表的字段，创建S3外部表，并将所述S3外部表的存储路径设置为所述分布式对象存储系统的存储路径；

通过所述S3外部表，将所述临时文件中的数据导入至所述目标表。

从上述描述可知，本发明的有益效果在于：可提高批量数据的导入速度，且可降低主节点的负载。

进一步地，所述通过所述S3外部表，将所述临时文件中数据导入至所述目标表之前，进一步包括：

判断所述目标表中是否含有索引；

若否，则执行所述通过所述S3外部表，将所述临时文件中的数据导入至所述目标表的步骤；