[发明专利]MPP数据库快速读取数据的方法、装置及计算设备在审
| 申请号: | 201910948593.7 | 申请日: | 2019-10-08 |
| 公开(公告)号: | CN112632114A | 公开(公告)日: | 2021-04-09 |
| 发明(设计)人: | 冯建辉 | 申请(专利权)人: | 中国移动通信集团辽宁有限公司;中国移动通信集团有限公司 |
| 主分类号: | G06F16/2453 | 分类号: | G06F16/2453;G06F16/2458;G06F16/182 |
| 代理公司: | 北京市浩天知识产权代理事务所(普通合伙) 11276 | 代理人: | 王广涛 |
| 地址: | 110000 辽*** | 国省代码: | 辽宁;21 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | mpp 数据库 快速 读取 数据 方法 装置 计算 设备 | ||
1.一种MPP数据库快速读取数据的方法,其特征在于,所述方法包括:
将MPP数据库集群中存储的外部表的信息传输至于Hadoop集群以获取与所述外部表对应的数据表在所述Hadoop集群中的位置信息;
根据所述位置信息以及读取策略,对所述数据表的数据进行并行读取。
2.根据权利要求1所述的方法,其特征在于,所述将MPP数据库集群中存储的外部表的信息传输至于Hadoop集群以获取与所述外部表对应的数据表在所述Hadoop集群中的位置信息,包括:
通过所述MPP数据库集群中的管理节点根据将所述外部表的信息传输至所述Hadoop集群中的NameNode;
获取所述NameNode根据所述外部表的信息查找的与所述外部表对应的所述数据表在所述Hadoop集群中的HDFS的所述位置信息。
3.根据权利要求2所述的方法,其特征在于,所述外部表的信息至少包括:外部表名、NameNode的地址信息、数据类型以及所述HDFS中的所述数据表名,
所述通过所述MPP数据库集群中的管理节点根据将所述外部表的信息传输至所述Hadoop集群中的NameNode,包括:
通过所述管理节点根据所述NameNode的地址信息寻找需要访问的所述NameNode;
将所述数据类型以及所述数据表名传输至所述NameNode。
4.根据权利要求3所述的方法,其特征在于,所述通过所述管理节点根据所述NameNode的地址信息寻找需要访问的所述NameNode之后,包括:
对所述Hadoop集群进行鉴权。
5.根据权利要求4所述的方法,其特征在于,所述外部表的信息还包括账号信息,所述对所述Hadoop集群进行鉴权,包括:
根据所述账号信息对所述Hadoop集群进行鉴权。
6.根据权利要求1所述的方法,其特征在于,在所述将MPP数据库集群中存储的外部表的信息传输至于Hadoop集群以获取与所述外部表对应的数据表在所述Hadoop集群中的位置信息之前,包括:
在所述MPP数据库集群中创建并存储所述外部表,在所述Hadoop集群中创建并存储所述数据表,所述外部表与所述数据表形成映射关系。
7.根据权利要求1所述的方法,其特征在于,所述根据所述位置信息以及读取策略,对所述数据表的数据进行并行读取,包括:
通过所述MPP数据库集群中的数据节点根据所述位置信息获取所述数据表;
通过所述数据节点根据读取策略对所述数据表的数据进行并行读取。
8.一种MPP数据库快速读取数据的装置,其特征在于,所述装置包括:
位置获取单元,用于将MPP数据库集群中存储的外部表的信息传输至于Hadoop集群以获取与所述外部表对应的数据表在所述Hadoop集群中的位置信息;
数据读取单元,用于根据所述位置信息以及读取策略,对所述数据表的数据进行并行读取。
9.一种计算设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行根据权利要求1-7任一项所述MPP数据库快速读取数据的方法的步骤。
10.一种计算机存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行根据权利要求1-7任一项所述MPP数据库快速读取数据的方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国移动通信集团辽宁有限公司;中国移动通信集团有限公司,未经中国移动通信集团辽宁有限公司;中国移动通信集团有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910948593.7/1.html,转载请声明来源钻瓜专利网。





