[发明专利]一种数据文件传输实现方法和系统

权利要求书

1.一种数据文件传输实现方法，其特征在于，所述方法包括：

在服务器端Master接收下发的数据传输任务，并获取所述数据传输任务中的任务配置信息；所述任务配置信息包括：数据源信息、数据接收端信息、数据传输通道传输方式、数据传输协议类型以及通道属性信息；

根据所述任务配置信息创建一个或多个由客户端Worker服务和数据接收服务建立的数据传输通道；以通过所述Worker服务和所述数据接收服务进行数据文件传输。

2.根据权利要求1所述的数据文件传输实现方法，其特征在于，所述根据所述任务配置信息创建一个或多个由客户端Worker服务和数据接收服务建立的数据传输通道包括：根据所述任务配置信息在每个数据源端服务器和数据接收端服务器上部署并启动所述Worker服务和所述数据接收服务。

3.根据权利要求2所述的数据文件传输实现方法，其特征在于，所述根据所述任务配置信息创建一个或多个由客户端Worker服务和数据接收服务建立的数据传输通道还包括：

控制所述Worker服务根据数据传输通道传输方式和所述通道属性信息测试所述数据源端服务器和所述数据接收端服务器之间的网络状况；并建立数据文件传输工具。

4.根据权利要求3所述的数据文件传输实现方法，其特征在于，所述数据文件传输工具包括以下任意一种或多种：启动心跳控制器、目录文件扫描器、文件过滤器以及文件发送器。

5.根据权利要求4所述的数据文件传输实现方法，其特征在于，所述通过所述Worker服务和所述数据接收服务进行数据文件传输包括：

在所述数据源端服务器中，通过所述启动心跳控制器、目录文件扫描器、文件过滤器以及文件发送器配合完成数据文件发送。

6.根据权利要求5所述的数据文件传输实现方法，其特征在于，所述通过所述启动心跳控制器、目录文件扫描器、文件过滤器以及文件发送器配合完成数据文件发送包括：

通过所述心跳控制器接收所述Master发送的心跳，并定时向所述Master发送心跳；

通过所述目录文件扫描器监控并扫描所述数据源端服务器需要传输的数据文件，并生成与所述数据文件对应的完整性校验码文件，将所述数据文件和所述校验码文件发送给所述文件过滤器；

通过所述文件过滤器接收所述目录文件扫描器发送的所述数据文件和所述校验码文件，并上报关于所述数据文件和所述校验码文件的文件名称列表到所述Master进行重复文件过滤；

通过所述文件发送器接收所述文件过滤器过滤过的数据文件和校验码文件，发送到指定的数据接收端服务器，并在发送完成后向所述Master上报文件发送结果。

7.根据权利要求4所述的数据文件传输实现方法，其特征在于，所述通过所述Worker服务和所述数据接收服务进行数据文件传输还包括：

在所述数据接收端服务器中，在所述数据接收服务启动后，通过所述数据接收服务启动所述数据接收端服务器中的心跳控制器，并根据所述数据传输协议类型启动所述数据接收端服务器中建立的相应的数据接收器，通过所述数据接收器接收数据文件和关于所述数据文件的完整性校验码文件。

8.根据权利要求1所述的数据文件传输实现方法，其特征在于，所述方法还包括：通过所述Master对所述Worker服务和数据接收服务的运行状态进行持续监控，并监控每个数据传输通道的数据文件传输情况。

9.根据权利要求1所述的数据文件传输实现方法，其特征在于，所述方法还包括：预先向所述Master批量导入数据中心节点的登录信息，以安全访问每个数据中心节点，并对每个数据中心节点开通文件读写权限；

其中，每个数据中心节点能够作为数据源端和/或数据接收端。

10.一种数据文件传输实现系统，其特征在于，所述系统包括：服务端Master、数据源端和数据接收端；

所述Master，设置为接收下发的数据传输任务，并获取所述数据传输任务中的任务配置信息；所述任务配置信息包括以下任意一种或多种：数据源信息、数据接收端信息、数据传输通道传输方式、数据传输协议类型以及通道属性信息；

所述Master，还设置为根据所述任务配置信息分别在所述数据源端和所述数据接收端创建一个或多个由客户端Worker服务和数据接收服务建立的数据传输通道；以通过所述Worker服务和所述数据接收服务在所述数据源端和所述数据接收端之间进行数据文件传输。