[发明专利]一种分布式日志处理系统、网络设备及方法

说明书

本发明公开了一种分布式日志处理系统、网络设备及方法，涉及流量的收集汇总分析技术。本发明公开的一种分布式日志处理系统，包括日志分析器，网关设备以及与所述网关设备相关联的多个日志采集器，其中：所述网关设备接收到日志数据后，根据所接收到的日志数据的议IP地址和关联的日志采集器的总个数进行HASH计算，按照HASH计算结果将所接收到的日志数据分发至指定的日志采集器；所述日志采集器，按照所述网关设备控制进行日志数据的收集，并将收集的日志数据传送到所述日志分析器。本发明技术方案易于实现，实现了日志的消峰，避免了超出服务器的处理阈值，实现了系统的稳定性。

技术领域

本发明涉及流量的收集汇总分析技术，特别涉及一种分布式日志收集分析方案。

背景技术

现有的日志收集分析系统主要存在于运营商之中，由于各个厂商的实现方案各不相同，因此主要解决的方向为大数据量消峰、数据的实时性、准确性以及系统的稳定性。

针对上述的问题，亟待提出一解决方案，以应对日益增长的流量数据。

发明内容

本发明公开了一种分布式日志处理系统、网络设备及方法，可以解决现有日志收集分析系统针法应用数据流量过大的问题。

本发明公开了一种分布式日志处理系统，包括日志分析器，还包括网关设备以及与所述网关设备相关联的多个日志采集器，其中：

所述网关设备接收到日志数据后，根据所接收到的日志数据的IP地址和关联的日志采集器的总个数进行HASH(哈希)计算，按照HASH计算结果将所接收到的日志数据分发至指定的日志采集器；

所述日志采集器，按照所述网关设备控制进行日志数据的收集，并将收集的日志数据传送到所述日志分析器。

可选地，上述系统中，所述网关设备根据所接收到的日志数据的IP地址和关联的日志采集器的总个数进行HASH计算，按照HASH计算结果将所接收到的日志数据分发至指定的日志采集器进行日志数据的收集，包括：

为每个日志采集器设定索引标识，根据HASH计算结果，得到日志采集器的索引，将日志数据发至所计算出的索引对应的日志采集器上。

可选地，上述系统中，所述日志采集器将收集的日志数据传送到所述日志分析器包括：

所述日志采集器进行日志数据的收集后，生成BDB(嵌入式数据库)文件，通过FTP/SFTP(文件传输协议/安全文件传送协议)发送至所述日志分析器。

可选地，上述系统中，所述日志分析器，接收到所述日志采集器发送的日志数据时，在线程池中创建线程，所述线程用于将日志分析器积压的日志数据回调给对应的日志采集器。

本文还公开了一种网络设备，包括存储器和处理器，且所述网络设备关联多个日志采集器，其中：

所述存储器，用于保存用于分布式日志处理的程序；

所述处理器，用于读取执行所述用于分布式日志处理的程序，执行如下操作：

接收日志数据后，根据所接收的日志数据的IP地址和关联的日志采集器的总个数进行HASH计算，按照HASH计算结果将所接收的日志数据分发至指定的日志采集器进行日志数据的收集，收集的日志数据用于后续日志分析处理。

可选地，上述设备中，所述根据所接收的日志数据的IP地址和关联的日志采集器的总个数进行HASH计算，按照HASH计算结果将所接收的日志数据分发至指定的日志采集器进行日志数据的收集，包括：

为每个日志采集器设定索引标识，根据HASH计算结果，得到日志采集器的索引，将日志数据发至所计算出的索引对应的日志采集器上。

本文还公开了一种分布式日志处理方法，包括：