[发明专利]一种快速加载多个数据文件的方法及装置

说明书

技术领域

本发明属于集群数据库领域，尤其是涉及一种快速加载多个数据文件的方法及装置。

背景技术

集群数据库使用大量计算机节点提供高性能、大数据量的数据库服务。集群数据库的加载工具负责高性能地向集群数据库中加载大量数据。通过两台或者多台数据库服务器，提供透明的服务，集群向客户端提供的服务与单机系统向客户端提供的服务，从通讯协议上保持二进制兼容。在进行数据更新时，数据库客户端发出数据更新请求后，要等集群的每个节点全部更新后，才给客户端返回结果。

典型的集群数据库会解析用户所写的控制文件，确定待加载数据的来源、位置、类型等参数信息，然后获取数据文件的基本信息(如是否存在、文件大小等)，再根据数据文件的基本信息读取数据,最后将数据文件中包含的数据加载进集群数据库。

如果要加载多个数据文件，就要遍历并获取所有数据文件的基本信息，然后加载所有的数据文件。如果要加载的数据文件很多，遍历并获取所有数据文件的基本信息需要耗费很长时间。影响了用户使用数据库的体验。

发明内容

本发明实施例提供了一种快速加载多个数据文件的方法及装置，解决了集群数据库在加载多个数据文件耗时过长的问题。

第一方面，本发明实施例提供了一种快速加载多个数据文件的方法，所述方法包括：

获取数据文件的基本信息；

根据获取的数据文件的基本信息加载所述数据文件。

进一步的，所述根据获取的数据文件的基本信息加载所述数据文件，包括：

对已经获取到基本信息的数据文件进行加载，将数据文件的数据加载进集群数据库，直到加载完所有的数据文件。

进一步的，在获取数据文件的基本信息之前，还包括：

解析控制文件。

进一步的，所述获取数据文件的基本信息，包括：

获取并缓存数据文件的基本信息。

第二方面，本发明实施例提供了一种快速加载多个数据文件的装置，所述装置包括：

基本信息获取模块，用于获取数据文件的基本信息；

数据文件加载模块，用于根据获取的数据文件的基本信息加载所述数据文件。

进一步的，所述数据文件加载模块，用于：

对已经获取到基本信息的数据文件进行加载，将数据文件的数据加载进集群数据库，直到加载完所有的数据文件。

进一步的，所述装置还包括：

解析模块，用于解析控制文件。

更进一步的，所述基本信息获取模块，用于：

获取并缓存数据文件的基本信息。

由于采用上述技术方案，通过获取数据文件的基本信息；根据获取的数据文件的基本信息加载所述数据文件，不必等待获取到全部数据文件的基本，信息，就开始对已经获取到基本信息的数据文件进行加载，因此可以提高集群数据库加载工具的性能，有效减少用户的等待时间，极大改善用户的使用体验。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明第一实施例提供的快速加载多个数据文件的方法的流程示意图；

图2是本发明第一实施例提供的快速加载多个数据文件的方法中集群数据库加载工具的示意图；

图3是本发明第一实施例提供的快速加载多个数据文件的方法中集群数据库加载工具的示意图；

图4是本发明第一实施例提供的快速加载多个数据文件的方法中加载数据示意图；

图5是本发明第一实施例提供的快速加载多个数据文件的方法中加载和缓存数据示意图；

图6是本发明第一实施例提供的快速加载多个数据文件的方法中缓存数据文件示例图；

图7是本发明第一实施例提供的快速加载多个数据文件的方法中缓存数据文件示例图；

图8是本发明第二实施例提供的快速加载多个数据文件的装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。