[发明专利]一种分布式日志的采集和检索方法

说明书

技术领域

本发明属于计算机信息技术领域，涉及一种分布式日志的采集和检索方法。

背景技术

云计算环境中部署了大量的物理设备、业务系统，同时，也部署了运维，安全管理等的平台监控、管理系统，日志信息成为平台监控、管理的重要手段，海量的、来自不同设备、系统的日志信息需要被多个系统使用，同时平台中一旦设备出现问题，日志信息就成为排查故障，预防故障的重要手段。

由于云计算数据中心内物理设备、业务系统的数据很多，不同设备、系统使用不同协议产生自身的日志信息，传统数据处理方式针对大量的日志数据采集、处理、检索力不从心，同时，日志信息本身固有的非结构化数据特性也提高了日志信息采集、处理、检索的难度。

发明内容

本发明的目的是提供一种分布式日志的采集和检索方法，解决了传统数据处理方式难以对大量的日志数据进行采集、处理和检索的问题。

本发明的技术方案是，一种分布式日志的采集和检索方法，具体按照以下步骤实施：

步骤1、日志采集：

日志采集网络采集日志信息，通过通用接口将不同来源的日志信息存储在存储系统中，通过通用接口将不同类型及不同来源的日志信息保存成为统一字符编码的日志文件。

步骤2、日志处理：

日志搜索系统对保存到存储系统中的日志文件进行切分，对切分后的日志信息进行索引操作，根据日志内的关键属性，日志搜索系统从非结构化日志数据中提取数据，并重新组织成为日志信息索引，日志信息索引的结构包括“日志索引”“日志索引段”“日志索引文档”“日志索引域”和“日志索引项”五个不同的层次；

步骤3、日志检索：

将经步骤2形成的日志信息索引进行日志检索，完成对分布式日志的采集和检索。

本发明的特点还在于，

步骤1中，通用接口包括日志生成接口、日志编排接口和日志传输接口。

关键属性包括日志产生时间、日志类型、日志关键字、日志内容和日志级别；非结构化日志数据包括视频数据、音频数据、图片数据、图像数据、文档数据和文本数据。

日志信息索引包含一个“日志索引文档”序列，一个“日志索引文档”是一个“日志索引域”序列，一个“日志索引域”是一个“日志索引项”的命名序列。

步骤2中，日志搜索系统还对日志信息索引进行缓存处理。

步骤3中，日志检索的方法包括搜索日志索引和集群检索。

搜索日志索引，是利用步骤2的日志信息索引，得到每个查询关键字的文档链表，对文档链表进行文档公共内容过滤、文档差异内容过滤、文档内容合并处理，得到结果文档。

集群检索，是使用分片模式切分数据，将数据分布在整个集群中，每个分片为一个完整的索引，然后合并索引来聚合所有的分片搜索查询。

本发明的有益效果是，一种分布式日志的采集和检索方法，通过将不同来源的日志信息存储在存储系统中，并进行索引处理，使日志成为一个系统的结构，能够使不同类型的日志信息形成一个能够采集不同协议的日志采集网络，从而实现云计算数据中心分布式、高性能、实时、可扩展日志搜索系统的目的。

具体实施方式

下面结合具体实施方式对本发明进行详细说明。

本发明的技术方案是，一种分布式日志的采集和检索方法，具体按照以下步骤实施：

步骤1、日志采集：

日志采集网络采集日志信息，通过日志生成接口、日志编排接口和日志传输接口等通用接口将不同来源的日志信息存储在存储系统中，通过通用接口将不同类型及不同来源的日志信息保存成为统一字符编码的日志文件。

步骤2、日志处理：

日志搜索系统对保存到存储系统中的日志文件进行切分，对切分后的日志信息进行索引操作，根据日志内的关键属性，日志搜索系统从非结构化日志数据中提取数据，并重新组织成为日志信息索引。其中，关键属性包括日志产生时间、日志类型、日志关键字、日志内容、日志级别等信息；非结构化日志数据包括视频数据、音频数据、图片数据、图像数据、文档数据和文本数据；日志信息索引的结构包括“日志索引”“日志索引段”“日志索引文档”“日志索引域”和“日志索引项”五个不同的层次；日志信息索引包含一个“日志索引文档”序列，一个“日志索引文档”是一个“日志索引域”序列，一个“日志索引域”是一个“日志索引项”的命名序列；日志搜索系统还对日志信息索引进行缓存处理。

步骤3、日志检索：

将经步骤2形成的日志信息索引进行日志检索，完成对分布式日志的采集和检索。日志检索包括搜索日志索引和集群检索，其中，搜索日志索引，是利用步骤2的日志信息索引，得到每个查询关键字的文档链表，对文档链表进行文档公共内容过滤、文档差异内容过滤、文档内容合并处理，得到结果文档。集群检索，是使用分片模式切分数据，将数据分布在整个集群中，每个分片为一个完整的索引，然后合并索引来聚合所有的分片搜索查询。