[发明专利]一种高可靠性分布式海量数据传输方法及工具

权利要求书

1.一种高可靠性分布式海量数据传输方法，其特征在于,其实现基于分布式系统A和分布式系统B，其实现过程包括：

步骤S1、分布式系统A启动logstash，通过定时任务下的多线程任务同时采集多个数据表的数据，并生成统一格式的数据文件；

步骤S2、分布式系统A压缩所有数据文件，并在压缩完毕后通知分布式系统B；

步骤S3、分布式系统B根据分布式系统A的通知消息获取压缩的数据文件；

步骤S4、分布式系统B通过多线程并发的方式，解压数据文件，并批量插入到相应数据表中。

2.根据权利要求1所述的一种高可靠性分布式海量数据传输方法，其特征在于，执行步骤S1时，每个数据表的数据生成csv格式的数据文件。

3.根据权利要求1所述的一种高可靠性分布式海量数据传输方法，其特征在于，执行步骤S2时，分布式系统A将所有数据文件压缩成zip格式压缩包，全部数据文件压缩完毕后，分布式系统A通过kafka消息通道通知分布式系统B；

执行步骤S3时，分布式系统B通过kafka消息通道获取压缩包。

4.根据权利要求3所述的一种高可靠性分布式海量数据传输方法，其特征在于，执行步骤S4后，分布式系统B自动删除已经进行过解压的压缩包。

5.根据权利要求1所述的一种高可靠性分布式海量数据传输方法，其特征在于，分布式系统A启动logstash，可以首先自定义配置以下参数：

分布式系统A的数量、生成数据文件的数量，解压后数据文件的插入并发数量、每个数据文件的最大容量。

6.一种高可靠性分布式海量数据传输工具，其特征在于，其结构包括部署于分布式系统的采集生成模块、压缩通知模块、获取文件模块和解压插入模块；

在分布式系统A向分布式系统B传输数据时，

部署于分布式系统A的采集生成模块启动logstash，通过定时任务下的多线程任务同时采集多个数据表的数据，并生成统一格式的数据文件；

部署于分布式系统A的压缩通知模块压缩所有数据文件，并在压缩完毕后通知分布式系统B；

部署于分布式系统B的获取文件模块根据压缩通知模块的通知消息获取压缩的数据文件；

部署于分布式系统B的解压插入模块通过多线程并发的方式解压数据文件，并批量插入到相应数据表中。

7.根据权利要求6所述的一种高可靠性分布式海量数据传输工具，其特征在于，所述采集生成模块将采集的数据生成csv格式的数据文件。

8.根据权利要求6所述的一种高可靠性分布式海量数据传输工具，其特征在于，所述压缩通知模块将所有数据文件压缩成zip格式压缩包，全部数据文件压缩完毕后，所述压缩通知模块还通过kafka消息通道通知分布式系统B。

9.根据权利要求8所述的一种高可靠性分布式海量数据传输工具，其特征在于，所述获取文件模块根据压缩通知模块的通知消息，通过kafka消息通道获取压缩包。

10.根据权利要求6所述的一种高可靠性分布式海量数据传输工具，其特征在于，所述解压插入模块将解压得到的数据文件批量插入到相应数据表中，随后，所述解压插入模块自动删除压缩包。