[发明专利]一种基于NLP的网络日志处理系统及方法

说明书

本发明公开一种基于NLP的网络日志处理系统，包括自然语言处理组件和数据库；所述数据库内构建分类词库、预设词义库以及语言处理模型，所述分类词库设定以设备类型的特定对应的多个直译词或以分词处理后派生出的高频词为标准的关键词；所述分类词库与预设词义库映射关联，所述预设词义库与语言处理模型相关联；所述自然处理组件对设备的syslog源数据和日志文件进行归纳分类、分析并确定自然语言语句所包含的含义。本发明克服了以往基于模板的方法针对未定义日志无法分析的弱点，提高了系统的可用性，提升用户的易用性。

技术领域

本发明涉及网络安全技术领域，特别是一种基于NLP的网络日志处理系统及方法。

背景技术

在网络普及度越来越高现代社会，网络监控与管理是合理利用网络资源和信息的重要保障。网络管理者为了能够方便迅捷地对整个网络运行状态进行全方位的了解和把控，对网络中存在的问题和威胁及时作出反应，当前的通用做法是通过日志管理组件对网络日志进行集中收集和分析，向管理者提供网络中设备的实施运行状态，实现对风险的有效控制。

近年，随着人工智能技术的发展，自然语言处理（NLP）技术从众多人工智能领域中脱颖而出，成为一个重要的方向。与基于模板的传统语言生成技术相比，NLP具有很多优点，其生成技术最小化了人工的参与程度，可以自动从数据中学习输入到输出的映射。另一方面，Syslog诞生的目的正是专门用于传达设备开发者对于设备状态的说明和阐述，它本质上来说是一个离散的、象征性的、绝对的信号系统，具备了自然语言的全部特征，相比于人类语言，它在绝大多数情况下可以脱离语境而孤立存在，歧义性较小。因此，通过NLP方法进行机器学习，然后对Syslog进行分析的结果会非常的精确。

目前，行业内通用的做法是使用一种在互联网协议（TCP/IP）的网上中传递消息记录的标准，即syslog协议。该协议获得较多的设备厂商及各种系统平台的支持，syslog指令用于网络信息管理及网络安全审计。在报文格式方面，syslog报文格式具备一定的结构化，各类网管系统或日志服务器可以通过接收syslog消息，对其内容进行解析，从而实现事件级别，事件特性的简单判断。其协议的基本理念是简单，高效，即发送端和接收端无需互相进行接口联调，即可实现日志转发。

与SNMP不同，syslog日志消息体部分并无严格的格式控制，开发者无法通过报文结构获取整体消息体长度，参数的数据类型以及参数的长度，因此，若不同厂商的标准不同，对日志的定义都会有较大差异。且在实际应用过程中，厂商对于syslog的定义背景与用户业务环境也会存在不一致的情况。综上，当前业内syslog日志组件主要存在如下缺陷：

1、由于syslog是基于设备厂商开发者的认知进行撰写的，相同含义的内容在不同厂家/型号的设备中的表述也有不小的差异。

2、syslog报文本身可读性较差，过多的专业术语导致管理人员需要具备大量专业背景知识才能理解报文的含义。

3、日志事件本身没有统一规范，导致告警级别分类和事件分类无法有效的进行类别归并，对于关联分析会造成一定的障碍。

4、现有的基于模板的传统翻译技术，灵活性，适用性较差。

所以，对于网络管理者，一种既能表达syslog撰写者意图，又不需要具备太多专业知识的网络日志处理组件的需求是极为迫切的。

发明内容

本发明的目的在于提供一种基于NLP的网络日志处理系统及方法，采用本发明的方法可以有效的处理各类未知种类和格式的日志，克服了以往基于模板的方法针对未定义日志无法分析的弱点，提高了系统的可用性，提升了用户的易用性。

为实现上述目的，本发明提供如下技术方案：