[发明专利]一种高可靠性分布式海量数据传输方法及工具

说明书

本发明公开一种高可靠性分布式海量数据传输方法，涉及数据传输技术领域，其实现基于分布式系统A和分布式系统B，其实现过程包括：分布式系统A启动logstash，通过定时任务下的多线程任务同时采集多个数据表的数据，并生成统一格式的数据文件；分布式系统A压缩所有数据文件，并在压缩完毕后通知分布式系统B；分布式系统B根据分布式系统A的通知消息获取压缩的数据文件；分布式系统B通过多线程并发的方式，解压数据文件，并批量插入到相应数据表中。本发明还公开一种数据传输工具，其包括部署于分布式系统的采集生成模块、压缩通知模块、获取文件模块和解压插入模块，通过与前述方法相结合，能够提高数据传输的效率、安全性、稳定性、便捷性。

技术领域

本发明涉及数据传输技术领域，具体的说是一种高可靠性分布式海量数据传输方法及工具。

背景技术

信息是决策的核心依据，及时有效的将数据采集处理就显得格外重要。因为数据的分散以及结构的不一致，导致传动的数据收集方式十分的费时费力。

数据的使用迫切需要一种高效收集数据方式，以将不同数据库不同数据结构的数据进行收集并且处理。为解决这一问题，人们开始关注企业数据集成研究，尝试着对不同系统中的数据进行再加工，从而形成一个集成的、面向分析处理的环境，以便能够从这些海量的信息中挖掘规律、提取知识、辅助决策。数据抽取工具的出现无疑可以提供对应的帮助，它使数据的收集变的非软件开发人员也可以轻易操作，大大降低了数据收集的成本和时间。但是，目前数据传输工具在处理海量数据时，很难做到性能高效、过程稳定和数据安全。

发明内容

本发明针对目前技术发展的需求和不足之处，提供一种高可靠性分布式海量数据传输方法及工具。

首先，本发明公开一种高可靠性分布式海量数据传输方法，解决上述技术问题采用的技术方案如下：

一种高可靠性分布式海量数据传输方法，其实现基于分布式系统A和分布式系统B，其实现过程包括：

步骤S1、分布式系统A启动logstash，通过定时任务下的多线程任务同时采集多个数据表的数据，并生成统一格式的数据文件；

步骤S2、分布式系统A压缩所有数据文件，并在压缩完毕后通知分布式系统B；

步骤S3、分布式系统B根据分布式系统A的通知消息获取压缩的数据文件；

步骤S4、分布式系统B通过多线程并发的方式，解压数据文件，并批量插入到相应数据表中。

执行步骤S1时，每个数据表的数据生成csv格式的数据文件。

执行步骤S2时，分布式系统A将所有数据文件压缩成zip格式压缩包，全部数据文件压缩完毕后，分布式系统A通过kafka消息通道通知分布式系统B；

执行步骤S3时，分布式系统B通过kafka消息通道获取压缩包。

执行步骤S4后，分布式系统B自动删除已经进行过解压的压缩包。

分布式系统A启动logstash，可以首先自定义配置以下参数：

分布式系统A的数量、生成数据文件的数量，解压后数据文件的插入并发数量、每个数据文件的最大容量。

其次，本发明公开一种高可靠性分布式海量数据传输工具，解决上述技术问题采用的技术方案如下：

一种高可靠性分布式海量数据传输工具，其结构包括部署于分布式系统的采集生成模块、压缩通知模块、获取文件模块和解压插入模块；

在分布式系统A向分布式系统B传输数据时，

部署于分布式系统A的采集生成模块启动logstash，通过定时任务下的多线程任务同时采集多个数据表的数据，并生成统一格式的数据文件；