[发明专利]日志数据的处理方法和装置

说明书

本发明公开了一种日志数据的处理方法和装置。其中，该方法包括：将读取到的网络设备的日志信息按照预设格式写入日志文件中；建立日志信息的时间与日志信息的位置的映射关系，得到时间索引文件；从日志文件中的日志信息中提取预设字段，并建立预设字段与日志信息的映射关系，生成镜像文件；在获取到用户的查询请求之后，使用时间索引文件或镜像文件获取查询请求所指示查询的日志，其中，时间索引文件和镜像文件保存在数据库中。通过本发明，解决了现有技术中使用关系型数据库存储海量日志数据效率低且查询日志数据效率低的问题，实现了快速高效地存储日志信息，并可以快速查询日志信息的效果。

技术领域

本发明涉及数据存储领域，具体而言，涉及一种日志数据的处理方法和装置。

背景技术

随着计算机、智能终端的普及，网络得到飞速发展，导致网络环境变的越来越复杂。当今的企业和组织在IT信息安全领域所面临的局面也越来越严峻。网络中的各种网络设备、安全设备、主机、应用和业务系统在工作中也将会产生越来越多的安全事件和日志。如何存储这些海量事件，为进一步的分析、挖掘提供准确的数据，就显的越来越重要。

在传统的日志审计系统中，采用了关系型数据库来存储所有的日志信息。但是关系数据库存在一定的弊端，海量的日志信息不仅会大大增加数据库的负担，导致了数据库的其他请求操作耗费大量时间，并且当日志信息的数据量很大时，数据库无法满足日志的全部存储，从而导致丢包，数据不完整，对海量数据的不能做到高效存储。关系型数据库作为一个通用型数据库，因为考虑到数据的更改、多线程和事务等功能做了均衡优化，导致对于海量日志信息的存储存在瓶颈。而对于用户的日志信息来说，它具有一次写入，多次读取，无需更改的特点，关系型数据库中的很多功能和优化它不需要，同时使用关系型数据库存储海量的日志信息时，不但存储效率低，查询效率也很低。

针对现有技术中使用关系型数据库存储海量日志数据效率低且查询日志数据效率低的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中使用关系型数据库存储海量日志数据效率低且查询日志数据效率低的问题，目前尚未提出有效的解决方案，为此，本发明的主要目的在于提供一种日志数据的处理方法和装置，以解决上述问题。

为了实现上述目的，根据本发明的一个方面，提供了一种日志数据的处理方法，该方法包括：将读取到的网络设备的日志信息按照预设格式写入日志文件中；建立日志信息的时间与日志信息的位置的映射关系，得到时间索引文件；从日志文件中的日志信息中提取预设字段，并建立预设字段与日志信息的映射关系，生成镜像文件；在获取到用户的查询请求之后，使用时间索引文件或镜像文件获取查询请求所指示查询的日志，其中，时间索引文件和镜像文件保存在数据库中。

进一步地，将读取到的网络设备的日志信息按照预设格式写入日志文件中包括：从网络设备实时读取日志信息；获取日志信息的IP地址和为日志信息分配的日志ID；为日志信息添加水印和结束标志位；将日志信息的数据长度、日志ID、IP地址、水印、结束标志位和日志信息按照预设格式写入日志文件。

进一步地，获取日志信息的IP地址和为日志信息分配的日志ID包括：获取预先设置的配置信息，其中，配置信息中携带有预设编码类型；判断读取到的日志信息的编码类型是否符合预设编码类型；在日志信息的编码类型不符合预设编码类型的情况下，对日志信息进行转码处理，得到符合预设编码类型的日志信息；判断符合预设编码类型的日志信息中是否存在分隔符；在符合预设编码类型的日志信息中存在分隔符的情况下，将符合预设编码类型的日志信息分割为多条日志子信息；获取日志子信息的IP地址和为日志子信息分配的日志ID；在符合预设编码类型的日志信息中不存在分隔符的情况下，直接获取日志信息的IP地址和为日志信息分配的日志ID。