[发明专利]基于Redis和Logstash的数据采集方法及设备

权利要求书

1.一种基于Redis和Logstash的数据采集方法，其特征在于包括：

步骤1、数据接收服务器接收由外部系统推送的数据；

步骤2、将所述推送的数据通过所述Redis存储到文件系统中；

步骤3、所述Logstash从所述文件系统采集所述数据；

步骤4、所述Logstash将所述数据转换后发送给应用系统。

2.如权利要求1所述的数据采集方法，其特征在于所述步骤2还包括：

确定所述接收数据的业务类型，确定文件存储方式。

3.如权利要求2所述的采集方法，其特征在于所述步骤2还包括：

对存储在内存中的数据设置第一计时器，当所述第一计时器超过设定的第一时长阈值时，则将所述数据存储到磁盘中的文件系统的文件中，并删除所述内存中的数据；

对存储在磁盘中的文件系统中的文件设置第二计时器，当所述第二计时器超过设定的第二时长阈值时，则对所述文件进行标记，生成标记文件。

4.如权利要求3所述的采集方法，其特征在于所述步骤3还包括：

步骤3.1、所述Logstash包括多个读取插件，所述多个读取插件并发读取所述文件系统中的文件；

步骤3.2、当至少一个所述读取插件读取成功，则数据采集成功，并将读取的文件数据作为采集数据；否则数据采集失败。

5.如权利要求4所述的采集方法，其特征在于所述步骤4还包括：

如果采集数据成功，将所述采集的数据基于所述业务类型对应的数据结构进行数据清洗和数据封装，转换为所述应用系统支持的数据格式，并通过相应的转发插件，发送给所述应用系统。

6.如权利要求5所述的采集方法，其特征在于还包括：

周期性检测所述磁盘中的文件系统是否有所述标记文件，如果有，则进入所述标记文件删除处理过程。

7.如权利要求6所述的采集方法，其特征在于所述标记文件删除处理过程包括下述步骤：

步骤a、判断所述标记文件中的数据是否已经被发送给应用系统，是则转步骤d，否则转步骤b；

步骤b、判断所述标记文件对应的第二计时器对应的第二时长阈值是否被延长过；是则转步骤d，否则转步骤c；

步骤c、将所述标记文件对应的所述第二时长阈值延长一设定值，继续所述标记文件对应的所述第二计时器的计时，并监测所述第二计时器的计时是否达到所述第二时长阈值，如果达到，则转步骤a，否则，则继续监测所述第二计时器的计时；

步骤d、删除所述标记文件。

8.如权利要求7所述的采集方法，其特征在于所述设定值按如下方式设定：

设定值＝(所述磁盘的空闲容量×调节系数)/(所述磁盘的单位时间内的平均数据写入量)，所述调节系数为小于1的正数。

9.如权利要求8所述的采集方法，其特征在于所述调节系数为0.625。

10.一种基于Redis和Logstash的数据采集设备，其特征在于包括：

处理器和存储器，所述存储器具有存储有程序代码的介质，当所述处理器读取所述介质存储的程序代码时，所述数据采集设备能够执行权利要求1-9任一项所述的方法。