[发明专利]一种日志信息处理方法及装置

说明书

本发明提供了一种日志信息处理方法及装置，其中，该方法包括：对流式任务的日志信息进行格式转化，并将格式转换后的该日志信息推送到消息中间件中；将该消息中间件中的该日志信息存储到ElasticSearch中；在该ElasticSearch中为该日志信息创建关键字索引，该关键字索引用于搜索所述日志信息，可以解决相关技术中通过命令查看日志需要连接终端，比较繁琐，且无法进行日志检索的问题，无需连接终端，通过网页即可查看日志，流程更简单，业务侵入性低，且通过创建的关键字索引可以实现对日志信息进行检索。

技术领域

本发明涉及信息处理领域，具体而言，涉及一种日志信息处理方法及装置。

背景技术

得益于科技的进步，现阶段能获取到的数据越来越多，在许多的业务需求场景中人们对数据的实时性要求也越来越高。传统的离线数据处理已经不能满足当下的需求。Flink、SparkStreaming、Storm等流式计算引擎由于其较高的实时性，开始被广泛的应用在各种业务场景中。由于流式任务需要保证7*24小时不间断的运行，日志量会很大。日志信息对运维人员而言也十分的重要，需要在出现问题后根据日志信息的帮助快速的定位和恢复，同时也可以根据日志信息对任务进行性能调优，排除潜在隐患。

对于分布式流式任务日志查看，主要有三种方式：1)完全通过组件自身提供的能力，如Flink自身WebUi页面，通过进入Flink运行任务的WEB连接查看每个TaskManager的日志。2)通过Hadoop Yarn Web页面，如SparkStreaming和Flink通过yarn提交运行任务。就需要找到Yarn上对应任务的ApplicationId查询日志，或者通过连接Yarn所在容器，通过yarnlogs–applicationId命令查看。3)登陆任务执行所在的终端，找到对应的日志文件进行查看。

相关技术中通过Flink提供的WebUi查看日志，仅能查看运行中的任务日志，且当任务运行时间较长时，会导致页面日志查询响应缓慢甚至卡死，同时也无法进行日志检索。

通过Hadoop Yarn Web可以查看任务短时间内的实时日志，查看完整的日志时也存在查询响应缓慢甚至卡死，且通过命令查看日志需要连接终端比较繁琐。

针对相关技术中通过命令查看日志需要连接终端，比较繁琐，且无法进行日志检索的问题，尚未提出解决方案。

发明内容

本发明实施例提供了一种日志信息处理方法及装置，以至少解决相关技术中通过命令查看日志需要连接终端，比较繁琐，且无法进行日志检索的问题。

根据本发明的一个实施例，提供了一种日志信息处理方法，包括：对流式任务的日志信息进行格式转化，并将格式转换后的所述日志信息推送到消息中间件中；将所述消息中间件中的所述日志信息存储到弹性搜索服务器ElasticSearch中；在所述ElasticSearch中为所述日志信息创建关键字索引，其中，所述关键字索引用于搜索所述日志信息。

在一个示例性实施例中，在将格式转换后的所述日志信息推送到消息中间件中之前，所述方法还包括：为所述日志信息设置标识信息；在所述ElasticSearch中为所述日志信息创建关键字索引包括：根据所述标识信息为所述日志信息创建所述关键字索引。

在一个示例性实施例中，在将格式转换后的所述日志信息推送到消息中间件中之后，所述方法还包括：将所述消息中间件中的所述日志信息与预先设置的规则表达式进行匹配；在匹配成功的情况下，产生告警信息。

在一个示例性实施例中，将所述消息中间件中的所述日志信息与预先设置的规则表达式进行匹配包括：从缓存中将所述规则表达式拉取到内存的规则集中；通过流式引擎从所述消息中间件中拉取所述日志信息；将所述日志信息与所述规则表达式进行匹配。