[发明专利]一种海量日志管理云平台

摘要

本发明公开了一种海量日志管理云平台，包括日志收集系统（01）、日志处理系统（02）、日志索引与存储系统（03）、日志查询应用系统（04）。本发明是一个云端日志管理系统，能够对日志进行全文索引，使搜索和分析日志更加快速；采用云端存储不再局限于存储硬件的容量；能够解决因单点故障引起的日志数据丢失问题。日志处理系统（02）中增加日志消息处理子系统（021），它负责将接收的日志转发给实时流处理子系统（022），实现日志的收集与处理的解耦。如果出现日志索引或储存系统异常时，日志消息处理子系统（021）可以自动的临时将消息持久化到硬盘中，这样可以让系统接收到的日志不会因为索引或储存系统的异常而丢失。

主权项

一种海量日志管理云平台，其特征是，包括日志收集系统（01）、日志处理系统（02）、日志索引与存储系统（03）、日志查询应用系统（04）；所述日志收集系统（01）,用于将日志收集到平台中；所述日志处理系统（02）包括日志消息处理子系统（021）和实时流处理子系统（022）；日志消息处理子系统（021）,用来解耦日志消息的收集与日志消息的分析、存储之间的逻辑关系；实时流处理子系统（022）,用来将日志消息实时的分发给各后端处理系统；所述日志索引与存储系统（03），包括半结构化存储系统（031）、全文索引系统（032）和非结构化存储系统（033）；半结构化存储系统（031）,用于存储、查询日志的结构化数据；全文索引系统（032）,提供日志的全文检索；非结构化存储系统（033）,对日志进行备份及离线分析处理；所述日志查询应用系统（04）,能够展示收集到的经过分析后的日志，能够实时的展示日志信息，并根据制定的策略进行告警。