[发明专利]日志检索方法、装置以及服务器

说明书

本发明提供了一种日志检索方法、一种日志检索装置以及一种服务器，其中，日志检索方法包括：根据第一检索规则在原始日志中查找日志，将得到的日志存储为预处理日志集合；将第一检索规则存储为检索规则集合；根据检索规则集合建立预处理日志集合的索引；将索引通过分布式文件系统发送到存储预处理日志集合的存储单元。本发明提供的日志检索方法，根据搜索规则从原始日志中检索出数据，将这些数据形成预处理日志，同时将搜索规则存储到检索规则集合中，用户在对日志进行检索时，从检索规则集合中选取检索规则组合成适合的条件进行检索，得到需要的数据，从而能够从大量的日志中精确快速地获取需要的数据。

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种日志检索方法、一种日志检索装置以及一种服务器。

背景技术

目前，采用两种日志采集方法：关系型数据库采集和文件存储采集，关系型数据库采集存在搜索速度慢的问题，文件存储采集存在数据不精确的问题。

发明内容

本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。

为此，本发明的第一个方面在于，提出一种日志检索方法。

本发明的第二个方面在于，提出一种日志检索装置。

本发明的第三个方面在于，提出一种服务器。

有鉴于此，根据本发明的第一个方面，提供了一种日志检索方法，包括：根据第一检索规则在原始日志中查找日志，将得到的日志存储为预处理日志集合；将第一检索规则存储为检索规则集合；根据检索规则集合建立预处理日志集合的索引；将索引通过分布式文件系统发送到存储预处理日志集合的存储单元。

本发明提供的日志检索方法，日志管理服务对日志有预存储功能，建立检索规则集合，即形成条件检索池，根据检索规则集合中的检索规则在原始日志中检索日志，将检索得到的日志按照检索规则集合存储为预处理日志集合，即形成检索日志库，检索规则集合与预处理日志集合相对应(建立索引)，用户可以从检索规则集合中选取需要的检索条件，在预处理日志集合中搜索目标日志，由于用户能够通过检索规则集合(条件检索池)中的检索规则直接在预处理日志集合(检索日志库)中获取目标日志，而非在全部日志中逐一检索，因此能够在大量的日志中精确快速地获取需要的数据，提升了日志检索的速度和精度，提升了用户使用日志检索服务的使用体验。根据第一检索规则在原始日志中查找日志，将得到的全部日志存储为预处理日志集合，将全部第一检索规则存储为检索规则集合，根据检索规则集合建立预处理日志集合的索引，即将检索规则集合与预处理日志集合相对应，将索引通过分布式文件系统发送到存储预处理日志集合的存储单元。本发明能够让管理员自己建立规则形成自己的检索日志库，相对于一个自定义cache(高速缓冲存储器)功能。

优选地，在用户使用一个或多个检索条件找到目标日志之后，将使用的一个或多个检索条件重新存储为一个检索条件并存储在检索规则集合之中，重新建立规则集合与预处理日志集合的对应关系(即重新建立目标日志的索引)，使得当用户再次以同样的检索条件检索时，能够迅速准确地找到目标日志。

优选地，使用Mapper/Reducer(映射器/缩减器)对预处理后得到的预处理日志集合进行建立和更新索引，将索引从HDFS(Hadoop Distributed File System，分布式文件系统)分发到存储模块的各存储单元LS1、LS2、…LSn，方便日志管理服务建立更精确的预处理日志集合(条件检索池)。其中，使用Mapper/Reducer(映射器/缩减器)对预处理后的IT日志更新索引，再将索引从HDFS(Hadoop Distributed File System，分布式文件系统)分发到存储模块的各存储单元，能够实时更新、存储数据，保证了日志检索服务的时效性，同时分布式文件系统采用先进先出的存储策略，存储速度比较快。