[发明专利]一种数据库集群数据高速导入方法

说明书

技术领域

本发明属于数据库技术领域，特别涉及一种数据库集群数据高速导入方法。

背景技术

随着信息时代的来临，数据出现爆炸式增长。面对海量数据，企业对数据库系统的处理能力和计算强度要求越来越高，因此，数据库集群开始逐步替代单一服务器模式的数据库，成为企业应对海量数据的首选。数据库集群通过高速网络将多个数据库服务器联合起来组成集群，可以实现综合性能优于单个大型服务器。数据的海量不单单指数据规模大，还体现在数据增长快。因此，企业要求数据库集群在具备高效的数据计算处理能力同时，还需要具备高速的数据导入能力。另外，企业在首次部署数据库集群后，需要快速将海量的历史数据入库，以便尽快提供服务。如何能够高速地完成数据导入成为各个数据库集群关注的问题。目前，各大主流数据库集群产品都是依靠系统自身来完成数据的导入，如图1所示。

数据库集群内部包含一个（或多个）控制节点，负责驱动各个数据库节点，协调整个系统的工作。控制节点包括数据导入、并行计算、负载均衡与安全管理等功能，其中数据导入功能模块负责对数据导入存储，如图2所示，数据导入功能模块主要包括以下两方面功能：1、按照设定的分片策略（哈希、范围、循环方式）计算数据的存储位置；2、通过导入接口将数据发往数据库节点，完成数据的存储。这种将数据导入、数据计算等操作统一集成于控制节点内的实现方式存在两个主要的问题：

1、资源争用导致控制节点成为瓶颈

数据导入过程中的分片计算需要对每一条记录进行处理，占用大量的CPU计算。将数据发往数据库节点时需要进行数据缓存，占用大量的内存资源；同时也会占用控制节点同数据库节点之间的网络资源。因此，在进行数据的高速、持续导入时，势必会因大量的CPU、内存、网络资源开销，致使控制节点成为瓶颈，从而影响数据库集群的整体性能。

2、服务器性能限制数据导入效率

数据库集群的服务器性能决定了其数据导入效率，当数据库集群出现高负载时，会造成数据导入的阻塞、延迟，数据的延迟导入进而会影响对新数据处理计算的实时性。该影响会随着数据导入量的增加而愈加明显。

采用多控制节点的数据库集群可以将数据导入分派到多个控制节点并行处理，但这种分派的方式只能在一定程度上减轻数据导入过程中的资源争用，但无法从根本上解决数据的高速导入的性能问题。

综上所述，由控制节点统一完成所有操作的方式无法在数据的高速导入与处理计算间达到平衡。

发明内容

本发明的目的在于克服现有技术的不足，提供一种可实现数据的高速导入且可最大限度减轻控制节点负担的数据库集群数据高速导入方法。

本发明解决其技术问题是采取以下技术方案实现的：

一种数据库集群数据高速导入方法，采用将数据导入模块从数据库集群中的控制节点中分离出来构成独立的数据导入驱动组件，在数据库集群中的控制节点中增加交互控制模块，并且通过以下步骤实现：

步骤1：数据导入驱动组件与数据库集群的交互模块建立连接并获取各个数据库节点连接信息；

步骤2：数据导入驱动组件通过步骤1建立的数据库集群连接获取目标表的模式信息及分片存储信息并与相关数据库节点建立连接；

步骤3：数据导入驱动组件向相关数据库节点进行数据导入，交互控制模块接收数据导入结果，并更新目标表的相关统计信息。

而且，所述步骤1包括以下处理过程：数据导入驱动组件向交互控制模块发送建立连接请求，交互控制模块响应数据导入驱动组件连接请求，并向数据导入驱动组件发送数据库节点连接信息，数据导入驱动组件获取集群的各个数据库节点连接信息。

而且，所述步骤2包括以下处理过程：数据导入驱动组件与数据库集群进行时间同步，数据导入驱动组件向交互控制模块询问目标表是否可用？交互控制模块检查目标表是否可用并回复；数据导入驱动组件向交互控制模块获取目标表的模式信息和分片存储信息，交互控制模块将目标表的模式信息及分片存储信息传送给数据导入驱动组件；数据导入驱动组件与相关数据库节点建立连接。

而且，所述数据导入驱动组件通过JDBC、ODBC及OLEDB标准方式或定制优化的数据库访问方式同相关的数据库节点建立连接。