[发明专利]一种并行搜索IT日志的检索方法、装置及系统

说明书

技术领域

本发明涉及一种计算机领域，特别是涉及一种搜索海量IT日志的快速检索方法、装置及系统。

背景技术

随着行业用户的网络结构日趋复杂，业务的集中带动数据和应用的集中，各级数据中心应用系统越来越庞大，管理复杂度越来越高。对于安全管理人员来说，需要定期分析大量网络设备、安全设备、应用系统、数据库、主机等产生的海量日志，这样不可避免地需要检索这些海量的IT日志。

目前，一般采用两种方式进行IT日志检索：一种是将IT日志存储在关系型数据库，从而进行检索，但在海量IT日志情况下，关系型数据库的结构化存储无法满足用户要求的检索性能；另一种是使用分布式并行全文检索，此种方式在对IT日志完成索引之后，有较好的查询性能，但无法满足用户对于IT日志的精确检索，从而降低安全管理人员及运维人员工作效率。

所以，有必要提供一种新的检索技术，以确保在海量IT日志环境中，在保证检索性能的同时，可以实现日志的全文检索与精确检索，提高日志信息查询的性能与高效性，保证安全管理人员及运维人员能够对IT日志精确检索，提高安全管理人员及运维人员的工作效率。

发明内容

本发明的目的在于提供一种并行搜索IT日志的检索方法、装置及系统，可以确保用户在海量IT日志环境中，实现IT日志的全文检索与精确检索，提高日志信息查询的性能与高效性，以及用户的工作效率。

为解决以上技术问题，本发明提供一种并行搜索IT日志的检索方法，包括，

管理员登录管理平台模块，设置预处理规则和日志检索域；

管理平台根据预处理规则自动生成IT日志检索条件池；

用户从检索条件池选取检索条件并建立条件组合关系，并根据检索条件检索IT日志。

进一步地，所述方法进一步包括：日志预处理模块根据管理平台下发的预处理规则对采集到的IT日志进行预处理后存储。

进一步地，所述方法进一步包括：日志索引模块定期对预处理后的IT日志文件进行索引。

进一步地，所述用户从检索条件池选取检索条件并建立条件组合关系，并根据检索条件检索IT日志，具体包括：用户根据检索条件输入检索值，系统根据建立的索引及用户IT日志检索域进行检索操作，将检索结果返回。

为解决以上技术问题，本发明还提供一种并行搜索IT日志的检索装置，包括：管理平台模块、日志预处理模块、日志检索模块，

所述管理平台模块，用于设置并管理预处理规则，并将预处理规则下发至日志预处理模块，以及，将预处理规则转换为IT日志检索条件，形成检索条件池；

所述日志预处理模块，用于根据管理平台模块下发的预处理规则对采集的原始IT日志进行预处理，形成预处理后的IT日志；

所述日志检索模块，用于用户从检索条件池选取检索条件并建立条件组合关系，根据检索条件检索IT日志。

进一步地，所述装置进一步包括：日志存储模块，用于存储采集到的原始IT日志，以及日志预处理模块20预处理后的IT日志。

进一步地，所述装置进一步包括：日志检索域控制模块，用于结合用户、用户组、组织结构、权限信息，实现用户检索IT日志的分权分域。

进一步地，所述装置进一步包括：日志索引模块，对原始的IT日志及预处理后的IT日志建立索引，再将索引分发到日志存储模块。

为解决以上技术问题，本发明还提供一种并行搜索IT日志的检索系统，包括日志检索装置、日志采集器，

所述日志采集器，用于采集IT日志，形成原始IT日志；

所述日志检索装置，用于根据预处理规则对日志采集器采集的原始IT日志进行预处理，以及，根据预处理规则自动生成IT日志检索条件池，供用户从检索条件池选取检索条件并建立组合关系，进行检索。

与现有技术相比，本发明提供的一种并行搜索IT日志的检索方法、装置及系统，使用户在海量IT日志情况下，根据预处理规则自动生成IT日志检索条件池，从检索条件池选取检索条件并建立组合关系，实现IT日志的全文检索与精确检索，提高日志信息查询的性能与高效性，以及为安全管理人员与运维人员的日常管理、问题分析、故障排查提供准确有效的方法与途径，提高工作效率；通过日志检索域设置，实现日志检索的分权分域，确保IT日志的数据安全性；此外，还为外部各类安全管理平台提供通用的IT日志查询接口，提升各平台构建速度，降低开发成本。

附图说明