[发明专利]一种海量日志的查询与统计分析系统

摘要

本发明公开了一种海量日志的查询与统计分析系统，通过使用ElasticSearch存储日志记录，建立索引，来进行实时的查询与检索；通过Hadoop集群的MapReduce运算、Hive QL的类SQL查询、RHadoop的统计分析接口等，对日志进行复杂的运算分析，从中获取有用的信息。通过本发明可以解决海量日志的实时查询、复杂运算等问题，给企业带来一定的经济效益。

主权项

一种海量日志的查询与统计分析系统，其特征在于，该系统通过使用ElasticSearch存储日志记录，建立索引，来进行实时的查询与检索；通过Hadoop集群的MapReduce运算、Hive QL的类SQL查询、RHadoop的统计分析接口，对日志进行复杂的运算分析，从中获取有用的信息；该系统包括5个模块，分别是数据源模块、日志采集模块、存储查询模块、统计分析模块、Web展示模块；其中，数据源模块包括Syslog、Avro、Netcat、文件及其他系统外部的数据源；日志采集模块由日志采集接口组成，其下封装集成RSyslog、Flume、Logstash及其他开源组件；存储查询模块由存储查询接口组成，其下封装集成ElasticSearch查询接口，运行于ElasticSearch集群之上；统计分析模块由统计分析接口组成，其下封装集成MapReduce、RHadoop、Mahout接口，运行于Hadoop集群之上；Web展示模块主要由前台展示接口和后台管理接口组成，前台展示接口，提供和Splunk软件类似或者更加简洁的查询功能、更好的查询性能；后台管理接口，提供集群向导式自动化部署、集群监控与告警、用户管理、权限管理功能。