[发明专利]一种基于日志文件的搜索方法

说明书

本发明公开了一种基于日志的大数据分析方法，所述基于日志的大数据分析方法主要通过相关Beats应用根据其配置文件在各服务器进行数据采集，然后通过LogStash收集由所述Beats应用采集的数据并按自动索引生成的顺序存入到ElasticSearch。ElasticSearch对外提供简洁的Restful风格的查询接口。Elasticsearch通过Java程序开发并使用Lucene作为其核心来实现调用查询数据，即实现所有索引和搜索的功能，能够实现精确定位搜索日志信息并分析相关数据，得到精准的业务数据的作用。最后通过Echart进行可视化的显示，以隐藏Lucene本身的复杂性，从而让索引和搜索变得方便直观。

技术领域

本发明涉及日志文件技术领域，特别是指一种基于日志文件的搜索方法。

背景技术

近几年来，由于数据在互联网领域的持续增长，各公司都面量数据的处理需求。数据分析主要为公司的运维决策提供支持，主要基于各服务器产生的日志来进行分析，基于这些日志所提供的数据信息对特定的目标进行搜索和定位，实现对特定的目标进行针对性的处理分析。所述日志文件包括：由业务系统产出的日志文件、由系统服务产出的日志文件和由Filebeat服务负责采集分布在物理主机或虚拟机上的服务日志和系统日志。

现有技术方案是使用ELK Stack(elasticsearch、logstash&kibana，分析可视化平台)框架对数据进行搜索，如图1所示，为现有技术ELK-Stack框架示意图，包括：Elasticsearch(弹性检索框架)、IKAnalyzer(IK中文分词器)、Logstash(日志存储)、Beats(数据采集应用)构建而成。

Beats应用，用以采集由系统和服务产生的日志数据，其中Beats又包含文件采集应用Filebeat(轻量型日志采集器)和设备检测应用Metricbeat(轻量型指标采集器)，Beats应用用以采集

系统日志和服务日志，最后通过LogStash收集并存储到ElasticSearch。

LogStash，用以收集日志、接口服务状态和设备运行情况并存储到ElasticSearch。

ElasticSearch，用以收集由LogStash采集到的数据，并建立索引和提供检索操作，搜索目标信息并向外部提供查询接口。

WebService(网络服务，一种服务导向构架的技术)，用以把内网归集起来的数据存入索引库，并向外部提供查询接口。

Oracle(Oracle Database，Oracle数据库，一款关系数据库管理系统)，把内网归集起来的数据存入索引库，存储日志搜索历史记录及搜索热点并向外部提供查询接口。

现有技术的缺点主要有：

1、部署Beats时，若监控一个主机或几个服务时，操作还是比较简单，但是在分布式系统中，面相的是几十甚至是上百或上千的物理主机或虚拟机时，则要花费大量的人力完成，由于人为操作，不仅费时费力而且可能会导致误操作；

2、Logstash可以配置为不同的日志或服务建立相应的索引，但是在服务繁多的情况下，配置信息建立正确的索引较为繁琐；

3、Elasticsearch提供的通用配置，在高负载时为文档建立索引和检索操作变得相应较慢，部分操作需要等待时间较长。

总来说，现有技术存在搜索效率较低的缺点。

发明内容

有鉴于此，本发明的目的在于提出一种基于日志文件的搜索方法，实现快速部署相关服务、高效的执行建立索引和检索操作，即提高处理大数据时的搜索效率。

基于上述目的本发明提供的一种基于日志文件的搜索方法，自顶向下分别设置有展现层、控制层、服务层、基础数据层；