[发明专利]分布式集群数据导入方法及装置在审
| 申请号： | 201910119281.5 | 申请日： | 2019-02-18 |
| 公开（公告）号： | CN109815295A | 公开（公告）日： | 2019-05-28 |
| 发明（设计）人： | 刘欣然;张鸿;惠榛;吕雁飞;马秉楠;冷健全;王鸿翔;高峰;李恒 | 申请（专利权）人： | 国家计算机网络与信息安全管理中心 |
| 主分类号： | G06F16/27 | 分类号： | G06F16/27;G06F16/25 |
| 代理公司： | 工业和信息化部电子专利中心 11010 | 代理人： | 李勤媛 |
| 地址： | 100029*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 数据节点 文件加载 算子 分布式集群 加载文件 进程设置 数据存储 数据加载 数据文件 顺序读取 外部文件 相关信息 预先设置 进程 第三方 数据发 加载 外部 | ||
1.一种分布式集群数据导入方法，其特征在于，包括：
数据节点接收Master节点下发的数据加载命令，启动ForeignTableScan算子加载文件加载进程，通过ForeignTableScan算子基于预先设置的外部表，把要请求的数据及外部文件相关信息发送给文件加载进程，其中，文件加载进程设置第三方ETL服务器中；
文件加载进程根据数据节点发来的信息顺序读取数据文件，并将数据发送给数据节点；
数据节点的ForeignTableScan算子收取数据后，将数据存储到本地。
2.如权利要求1所述的方法，其特征在于，所述外部表保存有加载进程的相关信息，具体包括：加载进程端口号、IP地址、以及要加载外部文件列表。
3.如权利要求1所述的方法，其特征在于，启动ForeignTableScan算子加载文件加载进程具体包括：
启动ForeignTableScan算子；
ForeignTableScan算子根据自身的节点ID，轮询连接数据加载文件加载进程。
4.如权利要求1所述的方法，其特征在于，数据节点的ForeignTableScan算子收取数据后，将数据存储到本地具体包括：
数据节点的ForeignTableScan算子对文件加载进程返回的数据进行解释，转化成内部元组，存储到本地，并进行下一步SQL运算。
5.一种分布式集群数据导入装置，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至4中任一项所述的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于国家计算机网络与信息安全管理中心，未经国家计算机网络与信息安全管理中心许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201910119281.5/1.html，转载请声明来源钻瓜专利网。
