[发明专利]一种分布式日志收集方法

权利要求书

1.一种分布式日志收集方法，其特征在于，所述方法包括下列步骤：

业务系统产生日志数据；

采用双缓冲机制对日志数据进行收集；

采用LVS+Keepalived模式将并发的业务请求合理分配给各服务节点；

采用基于主/从Reactor模式对日志数据进行分级转发，具体为：

设计两层Reactor，分别为MainReactor和SubReactor，其中，

MainReactor位于第一层，作为主Reactor，负责监听来自业务集群各节点的新连接就绪事件，以及将已建立连接的网络I/O操作根据日志优先级分配给不同的SubReactor；

SubReactor位于第二层，包括两个从Reactor:SubReactorA和SubReactorB，其中，SubReactorA负责高优先级日志的获取转发工作，对前端日志源提供同步事件并发处理的能力，对后端日志系统提供稳定的日志流，SubReactorB负责低优先级日志的获取转发工作，对前端日志源提供异步事件并发处理的能力，对后端日志系统提供文件缓存形式的数据源；

采用基于Flume NG复合双通道对日志数据进行清洗、过滤；

对日志数据进行读取。

2.根据权利要求1所述的一种分布式日志收集方法，其特征在于，所述的采用双缓冲机制对日志数据进行收集具体为：

将日志操作逻辑从业务处理流程的关键路径中剥离，在业务节点中通过轻量级组件完成日志采集工作，保证日志采集场景下业务应用程序非阻塞、低延迟和后端日志线程低开销、高吞吐量的性能。

3.根据权利要求1所述的一种分布式日志收集方法，其特征在于，所述的采用双缓冲机制对日志数据进行收集具体为：

利用双缓冲机制将业务逻辑与具体I/O逻辑进行解耦，业务线程只需负责生成日志消息，不涉及具体在什么时间点进行写操作，通过异步的方式，保证业务处理流程的实时性。

4.根据权利要求1所述的一种分布式日志收集方法，其特征在于，所述的采用双缓冲机制对日志数据进行收集中将多个日志消息拼成一个大的缓冲数据，一次性发送给后端，避免频繁触发后端。

5.根据权利要求1所述的一种分布式日志收集方法，其特征在于，所述的采用LVS+Keepalived模式将并发的业务请求合理分配给各服务节点具体为：

采用LVS+Keepalived模式实现高可用负载均衡，负载均衡服务设置至少两台服务器，一台为Master节点，其他为Slave节点，构建LVS虚拟服务器集群系统，并在每个负载均衡节点部署Keepalived组件，Master节点与Slave节点之间通过虚拟路由冗余协议VRRP进行组播通信，Keepalived通过其核心协议VRRP实现负载均衡节点故障隔离以及节点之间的失败自动切换。

6.根据权利要求1所述的一种分布式日志收集方法，其特征在于，所述的采用基于主/从Reactor模式对日志数据进行分级转发具体为：

通过在常见的业务系统集群节点和日志系统集群节点中间增加代理节点，将业务系统与日志系统完全解耦，业务系统只专注于实现与维护业务逻辑，为平台核心业务提供优质的服务，对于日志信息，业务系统只需将其提交给代理节点即可，由代理节点负责日志的缓存以及不同类型日志的分发处理。

7.根据权利要求1所述的一种分布式日志收集方法，其特征在于，所述的SubReactorB通过采用Reactor+线程池的形式，以半同步/半异步的思想进行设计，对外提供异步事件并发处理的能力，其中，SubReactorB异步事件并发处理内部逻辑采用三层结构实现，分别是异步层、队列层、同步层。