[发明专利]分布式集群数据导入方法及装置在审
| 申请号： | 201910119281.5 | 申请日： | 2019-02-18 |
| 公开（公告）号： | CN109815295A | 公开（公告）日： | 2019-05-28 |
| 发明（设计）人： | 刘欣然;张鸿;惠榛;吕雁飞;马秉楠;冷健全;王鸿翔;高峰;李恒 | 申请（专利权）人： | 国家计算机网络与信息安全管理中心 |
| 主分类号： | G06F16/27 | 分类号： | G06F16/27;G06F16/25 |
| 代理公司： | 工业和信息化部电子专利中心 11010 | 代理人： | 李勤媛 |
| 地址： | 100029*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种分布式集群数据导入方法及装置，所述方法包括：数据节点接收Master节点下发的数据加载命令，启动ForeignTableScan算子加载文件加载进程，通过ForeignTableScan算子基于预先设置的外部表，把要请求的数据及外部文件相关信息发送给文件加载进程，其中，文件加载进程设置第三方ETL服务器中；文件加载进程根据数据节点发来的信息顺序读取数据文件，并将数据发送给数据节点；数据节点的ForeignTableScan算子收取数据后，将数据存储到本地。 | ||
| 搜索关键词： | 数据节点 文件加载 算子 分布式集群 加载文件 进程设置 数据存储 数据加载 数据文件 顺序读取 外部文件 相关信息 预先设置 进程 第三方 数据发 加载 外部 | ||
【主权项】：
1.一种分布式集群数据导入方法，其特征在于，包括：数据节点接收Master节点下发的数据加载命令，启动ForeignTableScan算子加载文件加载进程，通过ForeignTableScan算子基于预先设置的外部表，把要请求的数据及外部文件相关信息发送给文件加载进程，其中，文件加载进程设置第三方ETL服务器中；文件加载进程根据数据节点发来的信息顺序读取数据文件，并将数据发送给数据节点；数据节点的ForeignTableScan算子收取数据后，将数据存储到本地。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于国家计算机网络与信息安全管理中心，未经国家计算机网络与信息安全管理中心许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910119281.5/，转载请声明来源钻瓜专利网。
