[发明专利]一种基于logstash+kafka数据传输方法

说明书

本发明公开了一种基于logstash+kafka数据传输方法，包括业务数据生产端操作和业务数据消费端操作；1）通过业务数据生产端logstash，自动采集业务系统数据库中业务数据，并传输至中间件kafka；2）所述的中间件kafka收集各所述的业务数据生产端传输的数据，统一发送至业务数据消费端logstash；3）所述的业务数据消费端logstash接收所述的中间件kafka的消息，转为数据文件，并存储至目标数据库。本发明和现有技术相比，配置操作简便，处理速度快，能有效实现较为分散的业务数据的采集、处理、存储等操作，可以较为迅速方便的搭建业务数据生产端与消费端传输通道，且扩展性良好，降低开发及运维难度。

技术领域

本发明涉及高速数据采集应用领域，具体地说是一种基于logstash+kafka数据传输方法。

背景技术

在企业应用过程中，每个信息企业有自己的信息系统，但每个企业之间的数据信息不能实现共享，也缺乏一个统一的数据平台来对这些业务数据进行整合、处理、挖掘与分析，严重的阻碍了企业信息化建设的整体进程。为解决这一问题，人们开始研究各种数据传输方式，尝试着将不同系统中的数据高效、安全的采集到一起，在统一集中数据平台的基础上，对数据进行进一步的挖掘分析，挖掘数据规律，辅助决策。现有数据传输方式主要分为以下几种：

1）CDN技术

通过在现有网络中添加一层新的网络架构，将站点的内容公布到最接近用户的网络“边缘”，使用户能够就近取得所需的内容，提高用户訪问站点的响应速度。但缺点也非常明显：非实时、非直接更新到指定对象，并且中间有人工干预环节，须要进行比較严密、周到的安排；

2）基于FTP协议的传输技术

FTP远程文件传输协议的作用是把文件从一个计算机移到还有一个计算机。最经常使用的是使用FTP的双向传输，即在远程系统和本地机之间数据传输。用户可将远程计算机上的文件下载到用户所在的主机上，然后再复制到用户的终端机内，或直接下载到用户的终端机内，还能够将用户所在主机的文件或用户终端机上的文件传输到远程计算机上；

使用FTP传输文件须要建立FTPserver。使用注册用户的FTP，还须要管理用户和口令。一般主机都提供FTP的client，也可使用专用的FTPclient或使用集成的FTP软件。依据人民银行软件约束，禁止使用匿名ftp传递数据；

使用FTP方式进行文件传输的主要缺点有：传输数据的完整性无法得到保证；扩展性较差；

3）基于电子邮件传输

利用电子邮件系统传输文件。电子邮件系统具有发送速度快、文件类型多样化、收发方便、交流对象广泛、安全等特点。但传输数据的完整性无法得到保证，并且传输效率较低，并且基于邮件方式传输文件，效率较低；

4）基于中间件传输

利用MQ、MT等中间件传输数据，具有数据压缩、传输大文件、断点续传等功能，可以实现文件安全、可靠的传输。但目前大部分中间件传输方式存在效率较低，需要对应的接口开发工作量，数据抽取不灵活的缺点。

发明内容

本发明的技术任务是提供一种基于logstash+kafka数据传输方法。

本发明的技术任务是按以下方式实现的：

一种基于logstash+kafka数据传输方法，包括业务数据生产端操作和业务数据消费端操作；

操作步骤如下：

步骤1）通过业务数据生产端logstash，自动采集业务系统数据库中业务数据，并传输至中间件kafka；