[发明专利]一种分布式日志处理系统、网络设备及方法在审
| 申请号: | 201811223685.0 | 申请日: | 2018-10-19 |
| 公开(公告)号: | CN109376136A | 公开(公告)日: | 2019-02-22 |
| 发明(设计)人: | 田琳 | 申请(专利权)人: | 郑州云海信息技术有限公司 |
| 主分类号: | G06F16/182 | 分类号: | G06F16/182;G06F16/18 |
| 代理公司: | 北京安信方达知识产权代理有限公司 11262 | 代理人: | 林桐苒;解婷婷 |
| 地址: | 450018 河南省郑州市*** | 国省代码: | 河南;41 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 日志数据 日志采集器 网关设备 日志处理系统 日志 网络设备 分析器 关联 汇总分析 服务器 分发 传送 | ||
1.一种分布式日志处理系统,包括日志分析器,其特征在于,还包括网关设备以及与所述网关设备相关联的多个日志采集器,其中:
所述网关设备接收到日志数据后,根据所接收到的日志数据的网络协议IP地址和关联的日志采集器的总个数进行哈希HASH计算,按照HASH计算结果将所接收到的日志数据分发至指定的日志采集器;
所述日志采集器,按照所述网关设备控制进行日志数据的收集,并将收集的日志数据传送到所述日志分析器。
2.如权利要求1所述的系统,其特征在于,所述网关设备根据所接收到的日志数据的IP地址和关联的日志采集器的总个数进行HASH计算,按照HASH计算结果将所接收到的日志数据分发至指定的日志采集器进行日志数据的收集,包括:
为每个日志采集器设定索引标识,根据HASH计算结果,得到日志采集器的索引,将日志数据发至所计算出的索引对应的日志采集器上。
3.如权利要求1或2所述的系统,其特征在于,所述日志采集器将收集的日志数据传送到所述日志分析器包括:
所述日志采集器进行日志数据的收集后,生成嵌入式数据库BDB文件,通过文件传输协议/安全文件传送协议FTP/SFTP发送至所述日志分析器。
4.如权利要求3所述的系统,其特征在于,
所述日志分析器,接收到所述日志采集器发送的日志数据时,在线程池中创建线程,所述线程用于将日志分析器积压的日志数据回调给对应的日志采集器。
5.一种网络设备,其特征在于,包括存储器和处理器,且所述网络设备关联多个日志采集器,其中:
所述存储器,用于保存用于分布式日志处理的程序;
所述处理器,用于读取执行所述用于分布式日志处理的程序,执行如下操作:
接收日志数据后,根据所接收的日志数据的网络协议IP地址和关联的日志采集器的总个数进行哈希HASH计算,按照HASH计算结果将所接收的日志数据分发至指定的日志采集器进行日志数据的收集,收集的日志数据用于后续日志分析处理。
6.如权利要求5所述的设备,其特征在于,所述根据所接收的日志数据的IP地址和关联的日志采集器的总个数进行HASH计算,按照HASH计算结果将所接收的日志数据分发至指定的日志采集器进行日志数据的收集,包括:
为每个日志采集器设定索引标识,根据HASH计算结果,得到日志采集器的索引,将日志数据发至所计算出的索引对应的日志采集器上。
7.一种分布式日志处理方法,其特征在于,包括:
关联有多个日志采集器的分布式日志处理系统接收日志数据后,根据所接收到的日志数据的网络协议IP地址和所述系统关联的日志采集器的总个数进行哈希HASH计算,按照HASH计算结果将所接收到的日志数据分发至所述系统中指定的日志采集器进行日志数据的收集;
所述日志采集器进行日志数据的收集后,将收集的日志数据传送到所述系统的日志分析器进行日志分析。
8.如权利要求7所述的方法,其特征在于,所述分布式日志处理系统根据所接收到的日志数据的IP地址和所述系统关联的日志采集器的总个数进行HASH计算,按照HASH计算结果将所接收到的日志数据分发至所述系统指定的日志采集器进行日志数据的收集,包括:
为每个日志采集器设定索引标识,根据HASH计算结果,得到日志采集器的索引,将日志数据发至所计算出的索引对应的日志采集器上。
9.如权利要求7或8所述的方法,其特征在于,所述日志采集器将收集的日志数据传送到所述系统的日志分析器包括:
所述系统中关联的每个日志采集器进行日志数据的收集后,生成嵌入式数据库BDB文件,通过文件传输协议/安全文件传送协议FTP/SFTP发送至所述日志分析器。
10.如权利要求9所述的方法,其特征在于,还包括:
所述日志分析器,在线程池中创建线程,所述线程用于将日志分析器积压的日志数据回调给对应的日志采集器。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于郑州云海信息技术有限公司,未经郑州云海信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811223685.0/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种集群文件系统管理方法和系统
- 下一篇:一种文件处理方法及装置





