[发明专利]用于在日志分析系统中实现日志解析器的方法和系统

说明书

公开了用于实现日志分析方法和系统的系统、方法和计算机程序产品，该日志分析方法和系统可以以高效的方式来配置、收集和分析日志记录。已经描述了通过分析日志的行内容来自动生成日志解析器的改进方法。此外，已经描述了从日志内容中提取键‑值内容的高效方法。

背景技术

许多类型的计算系统和应用生成与该计算系统或应用的操作相关 或由该计算系统或应用的操作引起的大量数据。这些大量数据被存储 到诸如日志文件/记录之类的收集的位置中，如果需要分析系统或应 用的行为或操作，则这些收集的位置可以在稍后的时间段被审查。

服务器管理员和应用管理员可以通过学习和分析系统日志记录的 内容来获益。但是，收集和分析这些记录会是非常有挑战性的任务。 这些挑战有很多原因。

一个显著的问题涉及以下事实：许多现代组织拥有非常大量的计 算系统，每个计算系统具有在这些计算系统上运行的大量应用。考虑 到在这些计算设备上运行的大量相异的(disparate)系统和应用，在 大型系统中配置、收集和分析日志记录会非常困难。此外，这些应用 中的一些应用可以实际上在多个计算系统上运行以及跨多个计算系统 运行，从而使得协调日志配置和收集的任务更加成问题。

常规的日志分析工具提供收集和分析日志记录的基本能力。但是， 当面临大型系统包括具有在这些系统上运行的大量应用的大量计算系 统的问题时，常规系统不能高效地缩放。这是因为常规系统常常以每 台主机为基础进行工作，其中每当在系统中添加或新配置新的主机时， 都需要执行设置和配置活动，或者甚至需要针对现有的主机执行新的日志收集/配置活动。考虑到现代系统中存在大量的主机，这种方法 非常低效。此外，常规方法(特别是本地(on-premise)解决方案) 也不能充分地允许共享资源和分析部件。这造成大量且过量的冗余处 理和资源使用。

常规的日志分析工具在涉及由日志分析工具使用的日志解析器的 构建时也是非常低效的。日志解析器是理解如何解析日志内的条目的 工具。常规地，日志解析器必须由必须既熟知待分析的日志文件的确 切格式又熟练掌握将用来实现解析器的具体编程基础设施的人来手动 构建。

手动构建日志解析器的常规方法的一个问题是这个过程需要来自 熟练技术人员的大量时间和资源以构建解析器。此外，这种方法还需 要过多的手动资源以在日志文件的格式发生改变的情况下维护解析器。 此外，这种手动方法必然需要对日志文件格式的先验知识。

因此，需要改进的方法来实现日志分析系统。还需要提供更高效 的方式来实现用于日志分析系统的日志解析器。

发明内容

本发明的一些实施例通过提供自动构建日志解析器的方法来解决 上述问题。作为需要人来手动创建日志解析器的内容的替代，日志内 容本身被用来构建解析器。

根据一些实施例，提供了方法、系统或计算机可读介质，该方法、 系统或计算机可读介质通过以下操作来构建日志解析器：识别要分析 的日志，创建将日志的内容映射到用于日志内的一个或多个数据部分 的识别出的元素类型的映射结构，从日志中选择数据部分，相对于映 射结构分析该数据部分以识别可变部分和不可变部分，对于可变部分 中的至少一个可变部分将该至少一个可变部分指派给涵盖在该至少一 个可变部分中检测到的值的可变性的限制最少的数据类型，以及自动 生成用于日志解析器的正则表达式。正则表达式在一些实施例中可以 包括不可变部分以及用于可变部分的占位符，以实现日志解析器，其 中至少两个不同的占位符与不同的数据类型相关联。

在一些实施例中，用于识别可变部分和不可变部分的发明性方法 可以通过以下操作来执行：从日志中识别行以对照映射结构进行比较， 从该行的开头开始并且向前移动直到识别出不匹配为止，找到下一个 公共字符，将中间范围标记为可变的，并且循环直到达到行的末尾。

在映射结构内，元素类型可以包括字符串类型、整数类型、字母 字符类型或字段规则类型中的至少一个，其中字段规则类型与由规则 定义的元素序列对应。