[发明专利]海量异构数据的并行传输方法、装置、设备及存储介质

权利要求书

1.一种海量异构数据的并行传输方法，其特征在于，所述方法包括：

激活分布式集群与并行处理数据库集群的网络认证协议，所述并行处理数据库集群包括所述分布式集群的客户端，所述分布式集群包括多个第一节点，所述第一节点上包括分布式文件系统HDFS，所述HDFS用于存储第一数据，所述并行处理数据库集群用于存储第二数据，所述第一数据与所述第二数据为异构关系；

根据所述网络认证协议建立所述分布式集群与所述并行处理数据库集群的数据认证关系；

根据所述数据认证关系获取所述分布式集群的访问权限；

根据所述访问权限将所述HDFS中的所述第一数据并行传输到所述并行处理数据库集群。

2.根据权利要求1所述的方法，其特征在于，所述多个第一节点中包括管理节点，在所述激活分布式集群与并行处理数据库集群的网络认证协议之前，所述方法还包括：

激活所述HDFS的超文本传输协议HTTP和安全超文本传输协议HTTPS的兼容模式；

激活所述管理节点的HTTP_ONLY协议；

激活所述分布式集群的远程过程调用RPC服务，所述RPC服务用于支持所述数据认证关系的建立。

3.根据权利要求1所述的方法，其特征在于：

所述数据认证关系包括票据认证关系；

所述票据认证关系包括服务票据、主机票据和用户票据。

4.根据权利要求3所述的方法，其特征在于，所述并行处理数据库集群包括多个第二节点，所述方法还包括：

根据所述服务票据、所述主机票据和所述用户票据生成密钥文件；

将所述密钥文件分别发送给所述多个第二节点。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

配置所述密钥文件在每个所述第二节点上的权限。

6.根据权利要求1所述的方法，其特征在于：

所述并行处理数据库集群与所述分布式集群的参数配置相同。

7.根据权利要求1-6任意一项所述的方法，其特征在于：

所述分布式集群包括海杜普Hadoop集群；

所述并行处理数据库集群包括MPP数据库集群。

8.一种海量异构数据的并行传输装置，其特征在于，所述装置包括：

激活模块，用于激活分布式集群与并行处理数据库集群的网络认证协议，所述并行处理数据库集群包括所述分布式集群的客户端，所述分布式集群包括多个第一节点，所述第一节点上包括分布式文件系统HDFS，所述HDFS用于存储第一数据，所述并行处理数据库集群用于存储第二数据，所述第一数据与所述第二数据为异构关系；

认证模块，用于根据所述网络认证协议建立所述分布式集群与所述并行处理数据库集群的数据认证关系；

所述认证模块，还用于根据所述数据认证关系获取所述分布式集群的访问权限；

数据传输模块，用于根据所述访问权限将所述HDFS中的所述第一数据并行传输到所述并行处理数据库集群。

9.一种海量异构数据的并行传输设备，其特征在于，所述设备包括：处理器，以及存储有计算机程序指令的存储器；

所述处理器读取并执行所述计算机程序指令，以实现如权利要求1-7任意一项所述的海量异构数据的并行传输方法。

10.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-7任意一项所述的海量异构数据的并行传输方法。