[发明专利]一种日志采集方法及系统

说明书

本发明涉及一种日志采集方法及系统。所述的日志采集方法包括：根据用户操作前端界面填写内容，获得配置参数；根据获得的配置参数，分类过滤资产日志；根据配置文件内的信息，将分类过滤后的日志全量转出；将收集到的日志以多节点分流的形式存储于目标日志服务器的文件系统中。本发明所述的日志采集方法支持多种类型设备的采集方法，做到全方位多维度日志审计，以树状节点文本存储，方便程序调用，利于程序后续解析和存证。

技术领域

本发明涉及日志处理相关技术领域，尤其是一种日志采集方法及系统。

背景技术

在一个完整的信息系统里面，日志是一个非常重要的功能组成部分。它可以记录下系统所产生的所有行为，并按照某种规范表达出来。我们可以使用日志系统所记录的信息为系统进行排错，优化系统的性能，或者根据这些信息调整系统的行为。在安全领域，日志的重要地位尤甚，可以说是安全审计方面最主要的工具之一。日志的采集便于审计、存证，本发明提供了一种日志的采集方法及系统。

在现有技术中，网络日志采集主要为被动传输为主、无差别全量提取的日志采集方式。被动传输采集，即日志发送端和日志接收端的C/S模式，常见的如SNMP、syslog、FTP、SFTP等；使用日志代理采集的方式以实现日志的格式初始化、将客户端指定目录下的日志数据全量接收并转发给日志服务器，最后存放于文件系统中。

这种方法的缺陷或不足是：日志采集方式较为单一，被动传输日志的方式虽可适应一般的生产环境，但对于高精度高准度的安全生产环境下，此方式将失去其数据的可信价值，因为C/S架构下的发送端容易受网络波动的影响，若仅仅以被动传输的方式收集日志，当网络环境不稳定，造成网络中断、网络卡顿的情况，将使得日志传输过程丢包率骤升，甚至直接断开C/S模式下的socket连接，最后造成不可挽回的损失。无差别全量收集日志，容易产生较多无关审计价值的日志，当攻击者施加混淆目的，大量发送数据包给日志服务器，容易出现服务宕机、加大审计难度的问题。收集到的日志数据没有以结构化来存储，造成分类混乱，文本检索速度慢。

发明内容：

本发明所要解决的技术问题是，提供一种日志采集方法及系统。所述的日志采集方法及系统做到了全方位多维度日志审计，存储方法方便程序做数据调用，有利于程序做后续解析和存证。

本发明所要解决的上述技术问题，通过如下技术方案予以解决：

一种日志采集方法，其包括：

根据用户操作前端界面填写内容，获得配置参数；

根据获得的配置参数，分类过滤资产日志；

根据配置文件内的信息，将分类过滤后的日志全量转出；

将收集到的日志以多节点分流的形式进行存储于目标日志服务器的文件系统中。

优选地，以多节点分流的形式存储前，还包括：

对日志内容做预定义处理，识别日志协议的格式，过滤丢弃无用的数据包，保留的日志原文以时间节点做换行处理。

优选地，所述的日志全量转出是通过指定端口将数据转出，并开启端口监听线程。

优选地，所述多节点分流形式是通过多节点分流型服务端，将日志流量做信息分流处理，分为：存储流和解析流。采用多节点分流型的日志接收服务端程序，将日志文本以目录树的结构存储在文件系统中，同时能够将数据流实时与系统前台进行交互，达到实时展示数据的目的。

进一步优选地，所述存储流，是将日志流量按照不同来源进行标识，分类分目录存放于文件系统中，形成“目录结构树”。方便后续的程序调用，有利于提高检索速度。