[发明专利]一种基于syslog日志拆分系统及操作方法

权利要求书

1.一种基于syslog日志拆分系统，其特征在于：所述基于syslog日志拆分系统包括以下几个模块：split模块、ringqueue模块、process模块、parse模块、insert模块，所述split模块与ringqueue模块电性连接，所述process模块通过cpu控制电路与parse模块电性连接，所述insert模块与cpu电性连接。

2.根据权利要求1所述的一种基于syslog日志拆分系统得出一种基于syslog日志拆分系统的操作方法，其特征在于：所述具体操作方法如下步骤：

步骤一、获取当前cpu核心数量，确定每一个模块启动的线程个数；

步骤二、split模块实时读取message文件获取最新接收到的syslog日志，将接收到的日志分发给ringqueue模块；

步骤三、ringqueue模块是时一个环形消息队列，ringqueue模块启动了cpu个数对应的环形消息队列，split模块将收到的日志分按照顺序平均分发到各个环形消息队列中缓存起来，供process模块处理。其中每个环形消息队列有512个buffer来存储日志；

步骤四、process模块启动了cpu个数对应的线程，每个process线程从对应的环形消息队列中取得syslog日志后将该日志写到process线程存储日志目录的日志文件中。process线程存储日志的目录暂时定；

步骤五、parse模块启动了cpu个数对应的线程，每个parse线程读取process线程产生的日志文件，按照相应的字段解析出每个字段的详细信息，然后缓存到内存中；

步骤六、insert模块启动了cpu个数对应的线程数量，每个线程定时(30秒)会将parse线程缓存解析好的信息拼装sql语句，然后插入到数据库中，在多核cpu情况下，多个insert线程会产生竞态，这里采用互斥锁机制来避免竞态，保证同一时刻只有一个线程来执行插入动作。

3.根据权利要求2所述的一种基于syslog日志拆分系统的操作方法，其特征在于：所述步骤二中进行的同时，split模块还会定时的去监测message文件的大小，当message文件超过200MB的时候，就会清空message文件，防止message文件占用过大的磁盘空间。

4.根据权利要求2所述的一种基于syslog日志拆分系统的操作方法，其特征在于：所述步骤三中每个环形消息队列有512个buffer来存储日志。

5.根据权利要求1所述的一种基于syslog日志拆分系统的操作方法，其特征在于：所述步骤四中data/log/sub_logxx目录，该目录中最多缓存100个日志文件，每个日志文件最大200MB。

6.根据权利要求2所述的一种基于syslog日志拆分系统的操作方法，其特征在于：所述步骤五中最多缓存3000条供后续insert模块使用，insert模块会定时的来处理process缓存起来的日志。

7.根据权利要求6所述的一种基于syslog日志拆分系统的操作方法，其特征在于：所述的insert模块在处理完成时，process线程会将缓存的日志清空，提供给后续处理的日志使用。

8.根据权利要求7所述的一种基于syslog日志拆分系统的操作方法，其特征在于：所述的一个标准syslog日志的字符串为Jun 13 16:47:32FW-64kernel:[104742.735750]；iptables_dropIN＝br12；OUT＝br12；PHYSIN＝eth3PHYSOUT＝eth2；MAC＝ff:ff:ff:ff:ff:ff:74:d4:35:99:d6:3e:08:00SRC＝10.0.0.170DST＝10.255.255.255LEN＝78；TOS＝0x00；PREC＝0x00 TTL＝64ID＝649；PROTO＝UDP；SPT＝137；DPT＝137；LEN＝58。