[发明专利]高性能日志及行为审计系统

说明书

技术领域

本发明属于日志及行为审计领域，具体是涉及一种高性能日志及行为审计系统。

背景技术

目前的日志和行为审计系统在采集数据、分析数据和存储数据时，主要是利用linux/unix或者Windows服务器，采用通用的关系数据库来构建系统平台，在此平台上进一步开发对数据采集和分析存储的应用。然而对于日志和行为这样的大数据量的环境来讲，应用这样的平台往往在采集、分析和检索上无法满足性能的要求。原因在于：1、对于服务器而言，为了满足业务和稳定性的需要，运行了很多的服务和守护进程，但这些服务和守护进程大多数对于审计应用而言是没有必要的；2、对于通用的关系数据库而言，除了提供数据存储和查询之外，还需要提供很多数据关联性的功能，因此无法满足审计中数据关系单一但同时数据量巨大的快速检索；3、往往开发出来的应用，采集、分析和存储不能完全独立，导致一旦有某个模块上产生瓶颈就很难应用。

发明内容

本发明主要是解决上述现有技术所存在的技术问题，提供一种高性能日志及行为审计系统。

本发明的上述技术问题主要是通过下述技术方案得以解决的：本发明系统主体采用数据采集层、数据分析层和数据存储检索层三层设计，各层之间采用TCP加密传输，各层均可以单独扩展，从而提高单层的性能。

其中数据采集层采用PCI-E网络接口工控板，配置INTEL双核CPU、DDRII内存和DOM盘。裁剪Linux内核，只留下必要的驱动和模块。制作启动镜像，并且使系统启动以后完全运行在内存中，以加快系统运行速度。采集程序工作在该层中并采用零拷贝技术，在数据采集的初期，完成大部分无用数据的过滤，减少分析和拷贝的压力。采集到的数据格式化为统一的结构体，通过TCP加密传输至数据分析层。

数据分析层采用服务器主板，配置AMD ATHLON 64位双核CPU和SATA硬盘RAID5。裁剪Linux内核，只留下必要的驱动和模块。制作启动镜像，并且使系统启动以后完全运行在内存中，以加快系统运行速度。数据分析模块工作在该层中并接收来自采集层的数据，采用树型规则库分析每条数据，采取相应的动作，然后将数据通过TCP加密传输至数据存储检索层。

数据存储检索层采用服务器主板，配置AMD ATHLON 64位双核CPU和SATA硬盘RAID5。裁剪Linux内核，只留下必要的驱动和模块。制作启动镜像，并且使系统启动以后完全运行在内存中，以加快系统运行速度。数据存储检索层工作在此系统中，接收来自数据分析层的数据，接收到的数据首先存储于ramdisk中，到一定量了之后，批量写入硬盘。在写入时，首先将结构体转为二进制流，然后将结构体中唯一的序号和二进制流一一对应写入原始数据文件。写入硬盘之后，为了能高效地检索，为统一结构体的每个字段建立索引文件。结构体分为数字型和字符串型两种数据，往往对于这两种数据，不仅计算机处理方式不同，而且需要检索的方式也不同(例如，数字型通常为大于、小于和等于，而字符串型为包含或不包含)。因此，建立索引文件时根据类型不同，所建立的索引文件也不同。数字型索引文件通过二进制的方式来建立，文件中包含两种信息：一是结构体中对应字段的数值，二是对应的结构体索引编号(对于每条数据而言，序号是唯一的)。在检索时，通过对对应索引文件的检索，可以检索出符合条件的序号集合，通过这个集合，可以在原始数据文件中获取数据。字符串索引文件首先计算字符串hash值，文件中包含三种信息：一是结构体中对应字段的原始字符串，二是字符串对应的hash值，三是对应的结构体索引编号(对于每条数据而言，序号是唯一的)。在检索时，通过对对应索引文件的检索，可以检索出符合条件的序号集合，通过这个集合，可以在原始数据文件中获取数据。

本发明高性能日志及行为审计系统的设计完全基于嵌入式系统，并且在采集上对软硬件进行针对性优化，在日志和行为型数据的存储和检索上采用专用的软硬件接口和算法，在模块的设计上保持独立性，便于扩展，不会在单一模块上造成瓶颈。

附图说明

图1是本发明的一种结构示意图。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例：参看图1，本发明系统主体采用数据采集层、数据分析层和数据存储检索层三层设计，各层之间采用TCP加密传输，各层均可以单独扩展，从而提高单层的性能。