[发明专利]一种日志快速匹配范化策略的方法及系统

说明书

本发明公开一种日志快速匹配范化策略的方法及系统。所述方法包括：配置日志源和对应的范化策略组，并设置快速匹配策略；系统启动，将所有日志源信息和范化策略组缓存在系统内存中；接收待匹配日志源信息，根据待匹配日志源信息查找对应的范化策略组，如果可以使用快速索引匹配策略进行日志源信息和范化策略的快速匹配，则经快速匹配找到对应的范化策略进行范化处理，否则使用范化策略动态基线匹配策略所形成的范化策略基线进行日志源信息和范化策略的匹配，找到匹配的范化策略后进行范化处理。本申请极大地提升了范化策略的匹配效率，也极大地提升了日志审计与分析系统的日志接收处理性能。

技术领域

本发明涉及工控安全技术领域，尤其涉及一种日志快速匹配范化策略的方法及系统。

背景技术

在工业现场为了对各个设备的运行状态以及异常情况进行分析，需要将现场设备数据进行范化处理，并能对有潜在威胁的日志通过告警的方式通知用户，使用户快速、准确定位设备异常日志情况并对异常进行处理，使现场系统能安全平稳的运行。

例如，公开号为CN103618692A的专利“一种构建日志快速匹配的方法”公开了一种构建日志快速匹配的方法，通过引入线程池、解析策略文件并生成策略规则集，通过降低细粒度匹配，将日志格式化，按日志类型找到与之相关的策略，对每个字段进行处理，将可转化为数字的字段，转为数字；对于不能转化为数字的经过格式化，可以减少字符串匹配的长度；同时调整规则的比较顺序，先数字比较后字符串匹配，从而最大限度地提高匹配效率。可见该方法只定义了先数字比较后字符串匹配，对现场常见的日志未进行规则优先级定义，对规则文件解析也会影响匹配效率，同样规则集无法对有关联的多种日志进行关联并产生告警，相对比较片面。

针对工业现场，安全设备产生的大量不同的日志进行标准化，范化的速度决定是否能快速处理日志，若无法满足现场设备的产生的日志速率，导致大量日志无法进行深度分析，丢失大量日志，无法起到日志审计的作用。

发明内容

本发明提供了一种日志快速匹配范化策略的方法，包括：

步骤S1、配置日志源和对应的范化策略组，并设置快速匹配策略；快速匹配策略包括快速索引匹配策略和范化策略动态基线匹配策略；

步骤S2、系统启动，将所有日志源信息和范化策略组缓存在系统内存中；

步骤S3、接收待匹配日志源信息，根据待匹配日志源信息查找对应的范化策略组，确定是否可以使用快速索引匹配策略进行日志源信息和范化策略的快速匹配，如果是，则经快速匹配找到对应的范化策略进行范化处理，否则执行步骤S4；

步骤S4、使用范化策略动态基线匹配策略所形成的范化策略基线进行日志源信息和范化策略的匹配，找到匹配的范化策略后进行范化处理。

如上所述的一种日志快速匹配范化策略的方法，其中，范化策略组包含多个范化策略，每一个范化策略对应解析一种格式的日志。

如上所述的一种日志快速匹配范化策略的方法，其中，快速索引匹配策略用于快速找到匹配的范化策略，具体算法包括：1)检查固定位置的固定字符串是否为可快速索引的日志类型；2)检查固定长度或根据分隔符分割后的固定长度是否在预设字符串长度之内。

如上所述的一种日志快速匹配范化策略的方法，其中，范化策略动态基线匹配策略包括：使用范化策略动态排序方法进行范化策略的动态排序，具体算法包括：每隔固定时间t，统计这t时间段内范化策略的命中次数，按照命中次数倒序排序，即命中次数最多的范化策略排在最前面，按照排序依次进行匹配。

如上所述的一种日志快速匹配范化策略的方法，其中，范化策略动态基线匹配策略还包括：每隔固定时间段T(Tt)统计该时间段内范化策略的命中次数总排名，按照总排名为范化策略排序，成为这个时间段内范化策略优先级基线，汇总一天内的范化策略优先级基线，得到一天的范化策略基线，然后经过多天的学习，汇总同一时间段T内的范化策略命中次数，形成学习后的范化策略优先级基线。