[发明专利]一种分布式日志收集方法

说明书

本发明公开了一种分布式的日志收集方法，包括：采用双缓冲机制对日志数据进行收集；采用基于主/从Reactor模式对日志数据进行分级转发；采用LVS+Keepalived模式将并发的业务请求合理分配给各服务节点；采用基于Flume NG复合双通道对日志数据进行清洗、过滤；最终对日志数据进行读取。相较于传统日志收集方法，本分布式日志收集方法创新性地提出基于双缓冲机制的非阻塞日志收集方案、基于主/从Reactor模式的分级日志转发方案、基于Flume NG复合双通道的日志系统与数据清洗平台方案，使得系统对日志的收集效率更高，并且收集并落地存储的日志数据更加符合分析人员的需求，降低后期数据分析的时间成本。

技术领域

本发明涉及大数据采集领域，尤其涉及到电商行业中的日志数据采集环节，具体涉及一种分布式的日志收集方法。

背景技术

近几十年，国内经济蓬勃发展，随着生活水平的提高，人们的消费能力逐步增强，消费的渠道也逐步拓宽，特别是网购。

人们在使用电商平台时，浏览商品、收藏商品、添加商品至购物车、订单支付、订单评价，此类用户个性化的行为数据，将以用户行为日志的形式保存在平台服务后台中。为了提升用户体验，提高产品销量，各大电商平台通过收集用户数据进行数据挖掘分析，实现精准营销，个性化商品推荐成了近几年研究的热门。人工智能和深度学习的快速发展，也为用户行为分析与数据挖掘拓宽了渠道。随着网购用户的不断增长，网购频率以及商品数量、种类的增加，用户行为日志产生量也急剧增长，如：淘宝网每天收集的数据量高达50TB，如何高效地收集海量的用户数据，是进行大数据分析的重要关注点。而对监控日志的高效利用，则是提高电商平台集群服务质量的重要途径。

发明内容

本发明的目的是为了解决在传统电商行业在日志数据上现有技术中的上述缺陷，提供一种分布式的日志收集方法。

本发明的目的可以通过采取如下技术方案达到：

一种分布式的日志收集方法，所述方法包括以下步骤：

业务系统产生日志数据；

采用双缓冲机制对日志数据进行收集；

采用LVS+Keepalived模式将并发的业务请求合理分配给各服务节点；

采用基于主/从Reactor模式对日志数据进行转发；

采用基于Flume NG复合双通道对日志数据进行清洗、过滤；

对日志数据进行读取。

进一步地，所述的采用双缓冲机制对日志数据进行收集的具体过程包括：

双缓冲是缓存设计的其中一种模式。通过合理设计缓存，解决业务线程的阻塞问题。

在基于双缓冲机制的非阻塞日志采集方案中，逻辑上将日志消息的生产者称为前台，执行具体I/O操作进行的日志消费者称为后台。在电商平台日志采集这个应用场景中，每个业务线程都可以理解为一个前台，日志线程属于后台。该方案为日志采集前后台分别准备了一个缓冲区，分别称为缓冲区A和缓冲区B，初始化时，每个缓冲区分配两个缓冲块，一主一备，前台主缓冲块用于接收当前日志数据，备缓冲块待命。缓冲区B的日志数据由后台线程读取并上报，本方案使用条件变量作为多线程间同步的机制。等待在条件变量上的后台日志上报线程，在以下两种情形下被唤醒：前端业务线程写满缓冲区或者等待时间超过5秒。方案主要逻辑执行时间线如附图2所示。

初始化时，分配四个缓冲块B1、B2、B3、B4，前后台各两个。前台业务线程负责将日志数据写入到缓冲区A中，后台日志线程负责读取缓冲区B中的日志数据并进行实际的I/O操作，往特定文件描述符中写入数据。当缓冲区为空时，后端日志线程等待在条件变量上。