[发明专利]一种基于syslog日志拆分系统及操作方法

说明书

本申请公开了一种基于syslog日志拆分系统，所述基于syslog日志拆分系统包括以下几个模块：split模块、ringqueue模块、process模块、parse模块、insert模块，所述split模块与ringqueue模块电性连接，所述process模块通过cpu控制电路与parse模块电性连接，所述insert模块与cpu电性连接。本申请的有益效果是：拆分算法采用关键字字符串匹配，这样能够做到拆分细致准确，并且本发明采用C语言实现，处理速度更快，split模块和process模块会频繁的竞争syslog日志数据，如果采用传统的锁机制，必定会造成cpu资源的浪费，采用了环形消息队列机制，既保证了不会产生竞争，又避免了cpu资源的浪费。

技术领域

本申请涉及一种拆分系统及操作方法，具体是一种基于syslog日志拆分 系统及操作方法，属于计算机领域。

背景技术

Syslog常被称为系统日志或系统记录，可以用来记录设备的日志，在路 由器、防火墙、交换机等网络设备中，系统日志记录了系统中任何时间发生 的大小事件，管理者可以通过查看系统记录，随时掌握系统状况，Linux的系 统日志是通过syslogd这个进程记录系统有关的事件，几乎所有的网络设备 都可以通过syslog协议，将日志信息以TCP、UDP方式传送到远程服务器， 也可以存储到本机指定的文件中。

目前，针对syslog日志拆分是通过syslog程序的ommysql模块直接对 日志进行拆分，然后插入到数据库中，这种方式比较局限，首先，该模式只 能支持mysql数据库，其次，对于日志拆分的不够详细、颗粒度较大，而且 性能较低。因此，针对上述问题提出一种基于syslog日志拆分系统及操作方 法。

发明内容

本申请的目的就在于为了解决上述问题而提供一种基于syslog日志拆 分系统。

本申请通过以下技术方案来实现上述目的，一种基于syslog日志拆分系 统，所述基于syslog日志拆分系统包括以下几个模块：split模块、ringqueue 模块、process模块、parse模块、insert模块，所述split模块与ringqueue 模块电性连接，所述process模块通过cpu控制电路与parse模块电性连接， 所述insert模块与cpu电性连接。

优选的，一种基于syslog日志拆分系统的操作方法，其特征在于：所述 具体操作方法如下步骤：

步骤一、获取当前cpu核心数量，确定每一个模块启动的线程个数；

步骤二、split模块实时读取message文件获取最新接收到的syslog日 志，将接收到的日志分发给ringqueue模块；

步骤三、ringqueue模块是时一个环形消息队列，ringqueue模块启动了 cpu个数对应的环形消息队列，split模块将收到的日志分按照顺序平均分发 到各个环形消息队列中缓存起来，供process模块处理。其中每个环形消息 队列有512个buffer来存储日志；

步骤四、process模块启动了cpu个数对应的线程，每个process线程 从对应的环形消息队列中取得syslog日志后将该日志写到process线程存 储日志目录的日志文件中。process线程存储日志的目录暂时定；

步骤五、parse模块启动了cpu个数对应的线程，每个parse线程读取 process线程产生的日志文件，按照相应的字段解析出每个字段的详细信息， 然后缓存到内存中；

步骤六、insert模块启动了cpu个数对应的线程数量，每个线程定时 (30秒)会将parse线程缓存解析好的信息拼装sql语句，然后插入到数据 库中，在多核cpu情况下，多个insert线程会产生竞态，这里采用互斥锁机 制来避免竞态，保证同一时刻只有一个线程来执行插入动作。