[发明专利]大数据平台的FTP-Transport传输创建方法、系统、终端及存储介质

说明书

本发明提供一种大数据平台的FTP‑Transport传输创建方法、系统、终端及存储介质，包括：开通大数据平台的安全通信协议；创建分布式文件系统数据节点的源文件目录，创建分布式文件系统目录并创建数据仓库工具数据表；校验并确认具有通过工作节点安全外壳协议的权限；添加文件服务并通过文件服务创建工作节点经分布式文件系统到所述数据仓库工具的通道；通过所述通道将工作节点的数据上传至数据仓库工具数据表。本发明能够实现在大数据平台利用FTP‑Transport传输文件，满足文件传输的安全性、即时性以及多端对多端的跨集群文件传输。

技术领域

本发明涉及服务器技术领域，具体涉及一种大数据平台的FTP-Transport传输创建方法、系统、终端及存储介质。

背景技术

FTP、SFTP、FTPS是File Transfer Protocol(文件传输协议)、一种多传输协议、安全文件传送协议。FTP、SFTP、FTPS是三种常用的安全通信协议，能够相对安全地传输文件。

但是，目前FTP、SFTP、FTPS仅可以实现一个节点向另一个节点的端对端的文件传输，无法适应大数据平台数据高即时性、高并发、多对多传输的场景。因此，在大数据平台，无法利用这三种安全通信协议将数据正常传输至HDFS和hive，对于一些实时数据无法及时更新到数据中心，不适用大数据的高性能、高可靠、安全的数据交换，也不适用集群内部或集群间进行文件传输。

发明内容

针对现有技术的上述不足，本发明提供一种大数据平台的FTP-Transport传输创建方法、系统、终端及存储介质，以解决上述技术问题。

第一方面，本发明提供一种大数据平台的FTP-Transport传输创建方法，包括：

开通大数据平台的安全通信协议；

创建分布式文件系统数据节点的源文件目录，创建分布式文件系统目录并创建数据仓库工具数据表；

校验并确认具有通过工作节点安全外壳协议的权限；

添加文件服务并通过文件服务创建工作节点经分布式文件系统到所述数据仓库工具的通道；

通过所述通道将工作节点的数据上传至数据仓库工具数据表。

进一步的，所述开通大数据平台的安全通信协议，包括：

在大数据平台的安全通信服务节点开通安全通信协议，所述安全通信协议为FTP、FTPS和SFTP协议中的任意一种；

在大数据平台的安全通信服务节点添加安全通信使用账户；

创建安全通信服务组件的存储数据库。

进一步的，所述创建分布式文件系统数据节点的源文件路径，包括：

通过所述安全通信使用账户在大数据平台的数据节点创建源目录，所述安全通信使用账户具备创建源目录的权限。

进一步的，所述校验并确认具有通过工作节点安全外壳协议的权限，包括判断所述工作节点是否属于所述大数据平台集群：

若否，则获取所述工作节点的安全外壳协议授权并在所述工作节点安装安全通信文件包。

进一步的，所述通过文件服务创建工作节点经分布式文件系统到所述数据仓库工具的通道，包括：

根据工作节点IP、中间节点IP、源文件目录路径、分布式文件系统目录路径和数据仓库工具数据表路径，构建由工作节点、中间节点、分布式文件系统和数据仓库工具数据表依次组成的通道。

进一步的，所述方法还包括：

从工作节点上传与数据仓库工具数据表结构一致的源数据；