[发明专利]一种海量日志管理云平台

说明书

技术领域

本发明涉及计算机应用领域，尤其涉及一种海量日志管理云平台。

背景技术

传统的日志分析系统，通常是以本地安装的方式收集设备的日志，先是将日志发送到本地服务器上，经过分析或不经分析直接存储到数据库中，再通过管理界面进行搜索和分析日志数据。

传统的日志分析系统，在分析日志时，会遇到以下问题：

1. 在日志容量增大后，系统的日志存储、查询、分析性能均出现下降，因为没有良好的水平扩展能力，系统性能往往受限于硬件性能。

2. 没有对日志进行全文索引的能力。

3. 单点故障。当系统中的硬件存储设备出现故障后，数据会丢失难以找回。

发明内容

为解决上述技术问题，本发明提供了一种海量日志管理云平台，帮助软件开发人员或网络运维人员更方便地查看和分析日志，从而提高开发效率和分析问题的效率。

为了实现上述目的，本发明采用如下技术方案。

一种海量日志管理云平台，包括日志收集系统、日志处理系统、日志索引与存储系统、日志查询应用系统。

所述日志收集系统,用于将日志收集到平台中，是一个分布式、可靠、和高可用的海量日志聚合的系统。它支持收集syslog、HTTP、Log4J、文件、文件变化等多种协议和格式的日志。

所述日志处理系统包括日志消息处理子系统和实时流处理子系统。

日志消息处理子系统,用来解耦日志消息的收集与日志消息的分析、存储之间的逻辑关系，使得系统更加灵活、可靠。在存储系统宕掉时，日志消息处理子系统的持久化机制可以保证日志不会丢失。

实时流处理子系统,用来将日志消息实时的分发给各后端处理系统。

所述日志索引与存储系统，包括半结构化存储系统、全文索引系统和非结构化存储系统。

半结构化存储系统,用于存储、查询日志的结构化数据，是一个灵活的存储机制，可以将日志拆分成自定义的字段来保存。而传统的关系型存储方式必须在用户使用前提前定义好字段。另外，该系统也具有TB级数据量存储的能力。

全文索引系统,可以提供日志的全文检索，为系统提供可在TB级的日志中实时检索日志的能力。它提供基于复制及分片技术的全文索引集群。并提供同义词、近义词、中文分词能力。

非结构化存储系统,对日志进行备份及离线分析处理。

所述日志查询应用系统,是一个分布式的查询和分析日志的应用系统。该系统能够以表格、柱状图、线形图等多种形式展示收集到的经过分析后的日志，能够接近实时的展示日志信息，并可根据制定的策略进行告警。

本发明的有益效果包括：

本发明的海量日志管理云平台不是本地日志管理系统，而是一个云端日志管理系统，能够对日志进行全文索引，使搜索和分析日志更加快速；采用云端存储不再局限于存储硬件的容量；能够解决因单点故障引起的日志数据丢失问题。日志处理系统中增加日志消息处理子系统，它负责将接收的日志转发给实时流处理子系统，实现日志的收集与处理的解耦。如果出现日志索引或储存系统异常时，日志消息处理子系统可以自动的临时将消息持久化到硬盘中，这样可以让系统接收到的日志不会因为索引或储存系统的异常而丢失。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

图1是本发明海量日志管理云平台的结构示意图。

其中，00、日志所在服务器；01、日志收集系统；02、日志处理系统；021、日志消息处理子系统；022、实时流处理子系统；03、日志索引与存储系统；031、半结构化存储系统；032、全文索引系统；033、非结构化存储系统；04、日志查询应用系统；05、用户。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

如图1所示，一种海量日志管理云平台，包括日志收集系统01、日志处理系统02、日志索引与存储系统03、日志查询应用系统04。

日志所在服务器00将日志通过syslog的形式发给日志收集系统01。

所述日志收集系统01,处在平台的最前端，用于将日志收集到平台中，是一个海量日志聚合系统集群，是一个分布式的、高可靠的日志收集系统。它支持收集syslog、HTTP、Log4J、文件、文件变化等多种协议和格式的日志。

它有以下特点：

a) 高可用性。可用性(availablity)指固定周期内系统无故障运行总时间。要想提高系统的可用性，就需要消除系统的单点，提高系统的冗余度。