[发明专利]访问分布式集群外部数据方法及装置

说明书

本发明公开了一种访问分布式集群外部数据方法及装置，所述方法包括：将文件服务进程设置在数据库集群系统以外的主机上，并设置文件服务进程的参数，启动所述文件服务进程；在数据库集群系统的数据节点需要访问外部数据时，启动ExternalTableScan算子，连接所述文件服务进程，基于预先创建的外部表进行外部数据访问。

技术领域

本发明涉及计算机领域，尤其涉及一种访问分布式集群外部数据方法及装置。

背景技术

分布式数据库KingbaseAnalyticsDB通过将数据和处理工作分配到多个服务器或主机的方式，存储和处理大量的数据。分布式集群基于多个单机数据库，它们协同工作，呈现给用户一个数据库的效果。图1描述了构成KingbaseAnalyticsDB数据库系统的组件，Master节点是KingbaseAnalyticsDB数据库系统的入口点。它是客户端连接和提交SQL语句的数据库实例节点。Master能够协调自己和系统中其它数据库实例节点的工作，这些数据库实例称为数据节点(Segment节点)，用于存储和处理实际数据。KingbaseAnalyticsDB数据库Segment实例节点是独立的数据库，每个Segment节点都会存储一部分的数据并且执行大多数的查询处理。当一个用户连接到数据库，并且通过Master节点发起了一个查询，Segment节点会创建一些进程来处理这个查询工作。用户定义的表和相应的索引都分布在数据库系统中的各个可用的Segment节点上，每个Segment存储着一部分不同的数据。用户在KingbaseAnalyticsDB数据库系统中通过Master节点与这些Segment节点交互。

数据导入工具是数据库通用工具，先将外部的数据导入到数据库里，然后再使用SQL进行运算。

这种方案是访问外部数据的传统方法，在集群里也可以使用。但有其现实的缺点：

1.数据入库后，占用存储资源。外部数据入库后，对于用户对存储敏感的情况下，就不会是一个好的选择。如果数据量大，用户的实际存储会不够用。并且，分析结束后，还需要对这部分数据进行删除操作。无形中，就会影响了当前系统中运行的业务。

2.易用性较差。在用户分析过程中，需要先对数据进行导入，之后才能执行分析过程。无法在分析过程中直接使用外部数据，无需额外的步骤进行数据导入。

也就是说，分布式集群可对大量数据进行处理和存储。为了访问外部存储的数据，需要先把外部数据导入到数据库集群中，然后才可以进行下一步的SQL运算。增加了存储负载的同时，访问外部数据效率也更低。这就要求集群具有直接访问外部数据的能力。

发明内容

本发明实施例提供一种访问分布式集群外部数据方法及装置，用以解决现有技术中的问题。

本发明实施例提供一种访问分布式集群外部数据方法，包括：

将文件服务进程设置在数据库集群系统以外的主机上，并设置文件服务进程的参数，启动所述文件服务进程；

在数据库集群系统的数据节点需要访问外部数据时，启动ExternalTableScan算子，连接所述文件服务进程，基于预先创建的外部表进行外部数据访问。

优选地，基于预先创建的外部表进行外部数据访问具体包括：

通过file协议读取预先创建的file协议外部表，进行外部数据访问；或者，

通过kafdist协议读取预先创建的kafdist协议外部表，进行外部数据访问。

优选地，通过file协议读取预先创建的file协议外部表，进行外部数据访问具体包括：

根据file协议外部表定义获取外部文件列表，其中，外部文件列表中的外部数据未CSV格式，每个字段之间按照“|”分割；