[发明专利]日志处理方法、装置、计算机装置及计算机可读存储介质在审
| 申请号: | 201910648085.7 | 申请日: | 2019-07-18 |
| 公开(公告)号: | CN110515912A | 公开(公告)日: | 2019-11-29 |
| 发明(设计)人: | 曾琰;邓大为;张圣栋 | 申请(专利权)人: | 湖南星汉数智科技有限公司 |
| 主分类号: | G06F16/18 | 分类号: | G06F16/18;G06F16/21;G06F16/22;G06F11/32 |
| 代理公司: | 暂无信息 | 代理人: | 暂无信息 |
| 地址: | 410000 湖南省长沙市高新开*** | 国省代码: | 湖南;43 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 日志数据 解析 自定义数据格式 框架开发 日志处理 日志信息 系统获取 数据库 计算机可读存储介质 数据处理模块 数据存储模块 互联网技术 计算机装置 数据库类型 多个项目 解析规则 所属项目 数据处理 话题 日志 预设 存储 | ||
1.一种日志处理方法,其特征在于,包括:
通过Kafka系统获取日志信息,所述日志信息包括多个项目的日志数据;将所述日志数据存储到与所属项目名称相同的话题topic中;
通过由JStorm框架开发的数据处理模块,按照自定义数据格式解析从所述话题topic中获取的日志数据,得到解析后的日志数据;
通过由JStorm框架开发的数据存储模块,按照预设解析规则所指定的数据库类型、数据库名称及目的数据表将所述解析后的日志数据存入ElasticSearch数据库中相应的数据表内。
2.如权利要求1所述的日志处理方法,其特征在于,所述按照预设解析规则所指定的数据库类型、数据库名称及目的数据表将所述解析后的日志数据存入ElasticSearch数据库中相应的数据表内,包括以下过程:
当所述预设解析规则中的告警标志为true时,从所述解析后的日志数据中获取告警信息,通过由所述JStorm框架开发的告警模块将所述告警信息发送给告警联系人。
3.如权利要求1所述的日志处理方法,其特征在于,所述方法还包括以下过程:
通过所述Kibana系统从所述ElasticSearch数据库的指定数据表中获取解析后的日志数据,并将所述获取的日志数据进行显示。
4.如权利要求1所述的日志处理方法,其特征在于,所述通过由JStorm框架开发的数据存储模块,按照预设解析规则所指定的数据库类型、数据库名称及目的数据表将所述解析后的日志数据存入ElasticSearch数据库中相应的数据表内之前,所述方法还包括以下过程:
通过Redis系统配置所述预设解析规则,其中,所述预设解析规则包括处理算法、数据库类型、数据库、插入算法、目的数据表、告警标志。
5.一种日志处理装置,其特征在于,包括:
第一存入模块,用于通过Kafka系统获取日志信息,所述日志信息包括多个项目的日志数据;将所述日志数据存储到与所属项目名称相同的话题topic中;
解析模块,用于通过由JStorm框架开发的数据处理模块,按照自定义数据格式解析从所述话题topic中获取的日志数据,得到解析后的日志数据;
第二存入模块,用于通过由JStorm框架开发的数据存储模块,按照预设解析规则所指定的数据库类型、数据库名称及目的数据表将所述解析后的日志数据存入ElasticSearch数据库中相应的数据表内。
6.如权利要求5所述的日志处理装置,其特征在于,所述第二存入模块,还用于当所述预设解析规则中的告警标志为true时,从所述解析后的日志数据中获取告警信息,通过由所述JStorm框架开发的告警模块将所述告警信息发送给告警联系人。
7.如权利要求6所述的日志处理装置,其特征在于,还包括:
显示模块,用于通过所述Kibana系统从所述ElasticSearch数据库的指定数据表中获取解析后的日志数据,并将所述获取的日志数据进行显示。
8.如权利要求7所述的日志处理装置,其特征在于,还包括:
配置模块,用于通过Redis系统配置所述预设解析规则,其中,所述预设解析规则包括处理算法、数据库类型、数据库、插入算法、目的数据表、告警标志。
9.一种计算机装置,其特征在于,所述计算机装置包括处理器,所述处理器用于执行存储器中计算机程序时实现如权利要求1-4中任意一项所述日志处理方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现如权利要求1-4中任意一项所述日志处理方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于湖南星汉数智科技有限公司,未经湖南星汉数智科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910648085.7/1.html,转载请声明来源钻瓜专利网。
- 上一篇:资源的处理方法及装置
- 下一篇:日志处理方法及装置





