[发明专利]日志处理方法、装置、计算机装置及计算机可读存储介质

说明书

本发明适用于互联网技术领域，提供了一种日志处理方法、装置、计算机装置及计算机可读存储介质，方法包括：通过Kafka系统获取日志信息，日志信息包括多个项目的日志数据；将日志数据存储到与所属项目名称相同的话题topic中；通过由JStorm框架开发的数据处理模块，按照自定义数据格式解析从话题topic中获取的日志数据，得到解析后的日志数据；通过由JStorm框架开发的数据存储模块，按照预设解析规则所指定的数据库类型、数据库名称及目的数据表将解析后的日志数据存入ElasticSearch数据库中相应的数据表内。本发明提供的日志处理方法，能够按照自定义数据格式解析从Kafka系统获取的日志数据，并将解析后的日志数据存入ElasticSearch数据库中相应的表内，提高日志数据处理效果。

技术领域

本发明属于互联网技术领域，尤其涉及一种日志处理方法、装置、计算机装置及计算机可读存储介质。

背景技术

一般情况下，在需要对日志数据进行处理的情况下，是直接将日志数据写在文件中，然后到文件中搜索需要使用数据。然而在大数据和分布式的环境下，存在日志数据类型多、数量大、分布广的特点。一般大型系统都是分布式部署架构，即不同数据处理模块部署在不同服务器上。各个数据处理模块对应的日志也存储在各个服务器上。现有技术在日志数据进行收集汇总、统一分析的过程中存在日志收集慢、日志数据多且杂、统计慢、分析难的情况，导致日志数据处理效果比较差的问题。

发明内容

本发明实施例提供一种日志处理方法、装置、计算机装置及计算机可读存储介质，旨在解决现有技术中日志数据进行收集汇总、统一分析的过程中存在日志收集慢、日志数据多且杂、统计慢、分析难的情况，导致日志数据处理效果比较差的问题。

本发明是这样实现的，一种日志处理方法，包括以下过程：

通过Kafka系统获取日志信息，所述日志信息包括多个项目的日志数据；将所述日志数据存储到与所属项目名称相同的话题topic中；

通过由JStorm框架开发的数据处理模块，按照自定义数据格式解析从所述话题topic中获取的日志数据，得到解析后的日志数据；

通过由JStorm框架开发的数据存储模块，按照预设解析规则所指定的数据库类型、数据库名称及目的数据表将所述解析后的日志数据存入ElasticSearch数据库中相应的数据表内。

进一步地，所述按照预设解析规则所指定的数据库类型、数据库名称及目的数据表将所述解析后的日志数据存入ElasticSearch数据库中相应的数据表内，包括以下过程：

当所述预设解析规则中的告警标志为true时,从所述解析后的日志数据中获取告警信息，通过由所述JStorm框架开发的告警模块将所述告警信息发送给告警联系人。

进一步地，所述方法还包括以下过程：

通过所述Kibana系统从所述ElasticSearch数据库的指定数据表中获取解析后的日志数据，并将所述获取的日志数据进行显示。

进一步地，所述通过由JStorm框架开发的数据存储模块，按照预设解析规则所指定的数据库类型、数据库名称及目的数据表将所述解析后的日志数据存入ElasticSearch数据库中相应的数据表内之前，所述方法还包括以下过程：

通过Redis系统配置所述预设解析规则，其中，所述预设解析规则包括处理算法、数据库类型、数据库、插入算法、目的数据表、告警标志。

本发明还提供一种日志处理装置，包括：

第一存入模块，用于通过Kafka系统获取日志信息，所述日志信息包括多个项目的日志数据；将所述日志数据存储到与所属项目名称相同的话题topic中；