[发明专利]一种日志处理方法、系统、设备及可读存储介质

说明书

本发明公开了一种日志处理方法、系统、设备及可读存储介质，该方法包括：对待处理日志进行归一化处理，得到指定格式的日志数据；利用攻击类型识别沙盒，对日志数据标记攻击类型标签，得到标签日志数据；将标签日志数据存入检索系统；在接收日志查询请求后，利用数据查询器并结合攻击类型标签，从检索系统中检索与日志查询请求匹配的目标日志数据，并输出目标日志数据。该方法可通过对不同格式的日志进行归一化，对攻击进行识别，最终提供数据查询功能，有利于提高基于日志记录进行攻击分析的效率。

技术领域

本发明涉及安全技术领域，特别是涉及一种日志处理方法、系统、设备及可读存储介质。

背景技术

越来越多的企业将服务或业务系统暴露在公共网络之中，一方面更加方便用户使用，另一方面也会面临更多的网络攻击。企业系统遭受网络的类型多种，且任何一种攻击都会给系统造成极大的风险和损失。

但是，只要在系统中开启操作日志记录，任何攻击都会留下犯罪证据。而安全工程师可基于日志记录，找出犯罪证据，进而对攻击进行分析和防范。具体的，安全工程师基于系统后台日志，手工分析排查分析，判断某时间段内是否存在被攻击的日志记录，如果存在攻击行为则评估该次攻击的影响范围，查出攻击者使用的攻击手段和攻击目的，判定该次攻击行为给系统带来的损失。

这种人工手动筛选的方式效率并不高，如果多个产品线多个业务系统同时产生大量日志需要安全工程师分析，需要大量人员做重复劳动力。

综上所述，如何有效地提高基于日志记录进行攻击分析的效率等问题，是目前本领域技术人员急需解决的技术问题。

发明内容

本发明的目的是提供一种日志处理方法、系统、设备及可读存储介质，以提高基于日志记录进行攻击分析的效率。

为解决上述技术问题，本发明提供如下技术方案：

一种日志处理方法，包括：

对待处理日志进行归一化处理，得到指定格式的日志数据；

利用攻击类型识别沙盒，对所述日志数据标记攻击类型标签，得到标签日志数据；

将所述标签日志数据存入检索系统；

在接收日志查询请求后，利用数据查询器并结合所述攻击类型标签，从所述检索系统中检索与所述日志查询请求匹配的目标日志数据，并输出所述目标日志数据。

优选地，将所述标签日志数据存入检索系统，包括：

将所述标签日志数据存入HDFS；

将所述标签日志数据对应的目标索引存入ES检索系统的index数据索引中。

优选地，将所述标签日志数据存入HDFS，包括：

按照所述标签日志数据所属的产品线系统、HDFS数据目录位置存储连接、数据对应时间，将所述标签日志数据存入所述HDFS。

优选地，所述利用数据查询器并结合所述攻击类型标签，从所述检索系统中检索与所述日志查询请求匹配的目标日志数据，包括：

解析所述日志查询请求，得到查询条件；所述查询条件包括请求查询的攻击类型；

利用所述数据查询器将所述查询条件组装为所述ES检索系统对应的ES查询语句；

将所述ES查询语句发送给所述ES检索系统，得到所述ES检索系统利用所述目标索引查询并反馈的所述目标日志数据。

优选地，所述对待处理日志进行归一化处理，得到指定格式的日志数据，包括：

接收并解析日志分析请求，确定出目标产品线以及目标时间段；