[发明专利]一种海量日志的查询与统计分析系统

权利要求书

1.一种海量日志的查询与统计分析系统，其特征在于，该系统通过使用ElasticSearch存储日志记录，建立索引，来进行实时的查询与检索；通过Hadoop集群的MapReduce运算、Hive QL的类SQL查询、RHadoop的统计分析接口，对日志进行复杂的运算分析，从中获取有用的信息；该系统包括5个模块，分别是数据源模块、日志采集模块、存储查询模块、统计分析模块、Web展示模块；

其中，数据源模块包括Syslog、Avro、Netcat、文件及其他系统外部的数据源；

日志采集模块由日志采集接口组成，其下封装集成RSyslog、Flume、Logstash及其他开源组件；

存储查询模块由存储查询接口组成，其下封装集成ElasticSearch查询接口，运行于ElasticSearch集群之上；

统计分析模块由统计分析接口组成，其下封装集成MapReduce、RHadoop、Mahout接口，运行于Hadoop集群之上；

Web展示模块主要由前台展示接口和后台管理接口组成，前台展示接口，提供和Splunk软件类似或者更加简洁的查询功能、更好的查询性能；后台管理接口，提供集群向导式自动化部署、集群监控与告警、用户管理、权限管理功能。

2.根据权利要求1所述的系统，其特征在于，本系统运行需要至少5台普通PC机或者服务器。

3.根据权利要求1所述的系统，其特征在于，该系统通过日志采集与存储、日志检索与查询、日志统计与分析、后台管理来实现系统间各个模板的运行。

4.根据权利要求1或3所述的系统，其特征在于，日志采集与存储是通过日志采集接口调用其下的RSyslog、Flume、Logstash及其他开源组件，对系统外部的数据源的日志进行采集，存储在ElasticSearch里面。

5.根据权利要求1或3所述的系统，其特征在于，日志检索与查询是用户通过前台展示接口，和海量日志系统进行交互，通过存储查询接口，在ElasticSearch里面，查询到需要的日志信息。

6.根据权利要求1或3所述的系统，其特征在于，日志统计与分析是通过统计分析接口，定时地调用MapReduce、RHadoop、Mahout接口，对预定义的规则进行运算，结果存入ElasticSearch中。

7.根据权利要求1或3所述的系统，其特征在于，后台管理是系统管理员，通过后台管理接口，登录系统，进行向导式集群自动化部署、集群监控与告警、用户管理、权限管理。

8.根据权利要求1所述的系统，其特征在于，本发明中的ElasticSearch能够使用SolrCloud代替。