[发明专利]大规模集群下各节点日志的抓取和展示系统

说明书

技术领域

本发明属于分布式系统技术领域，具体涉及一种大规模集群下各节点日 志的抓取和展示系统。

背景技术

一个大规模集群中通常都包括了成百甚至上千个节点，每个节点中都运 行着给集群提供服务的软件，通常都会生成自己的日志文件，用于记录出错 信息，运行状态，执行过程等。

对于日志文件的查看，一般都是直接通过文本编辑工具打开日志文件， 人为地搜索查看其中的信息，并且只能单个节点，单个日志地查看。

在大规模集群下，当面对如此多的节点，以及不同的日志文件，人为登 陆节点进行日志查看的方法会显得效率低下，在节点众多的情况下变得不可 行。

发明内容

为了解决上述技术问题，本发明的目的是提供一种可以在大规模集群下 方便快捷的查看各个节点不同日志的大规模集群下各节点日志的抓取和展 示系统。

实现本发明目的的技术方案是：一种大规模集群下各节点日志的抓取和 展示系统，包括集群中节点中布置了日志抓取和展示工具的各节点服务端和 需要查询日志抓取和展示工具的节点客户端，所述节点客户端包括读取包含 集群节点和日志配置文件的节点读取模块，解析出日志名称对应节点地址、 日志时间和存放路径的节点信息解析模块，用于输入开始时间参数、结束时 间参数和过滤时间参数的参数输入模块，用于将输入参数组装为查询请求发 送到配置文件中对应节点地址上的节点组装模块，用于接收来自各节点服务 端应答的节点信息接收模块和对各节点返回信息进行会总并按展示所有日 志及日志在各节点中出现次数的节点统计模块；所述各节点服务端包括监听 节点客户端的监听模块，用于接收节点客户端连接请求的请求信号接收模 块，接收日志查询请求的日志信号接收模块，解析出查询请求中包含参数的 参数解析模块，根据参数信息对日志进行查找过滤的查找过滤模块和将查询 到符合要求日志返回节点客户端的查询日志信息回传模块。

日志配置文件由集群地址描述、日志文件时间格式描述和日志名称描 述，

所述集群地址描述包括各节点地址，包括多个不同集群地址描述；

所述日志文件时间格式描述包括多个不同日志文件时间格式描述；

所述日志名称描述包括日志存储地址、中描述的日专所在集群和中描述 的日志文件时间格式。

所述各节点服务端还包括去重模块。

所述去重模块的去重步骤具体如下：

A)、去掉日志记录中的动态信息；

B)、计算去掉动态信息后的日志记录的校验值，如果校验值相同则判 断为同一条日志，如果校验值不同则判断为不是同一条日志；

C)、根据校验值查看是否已出现过，如果已出现则将当前处理的日志 记录所在节点的出现次数加一，如果未出现过则在出现记录中加入此校验 值，并将所在节点出现次数设为1，其余节点设置为0；

D)、重复步骤A，并最终统计所有日志及在各节点上的出现次数并展示。

在步骤A中，动态信息为用于记录日志的变量信息，包括十进制纯数字 信息、OX开头的十六进制信息、中括号中的信息、大括号中的信息、以“.com “结尾的网址信息、IP信息和文件路径名信息。

本发明具有积极的效果：本发明解决了大规模集群系统下，各节点日志 难以查看的问题，通过此发明，可以便捷地对多节点下的日志信息进行查看； 同时与其它现有技术各节点日志查看系统不同的是，现有技术各节点日志查 看系统都是直接将各节点的日志集中放入数据库，或者是放入专门的集群文 件系统，如HDFS进行集中存储，会加重系统负担和建立额外的存储系统， 增加系统复杂度；而本发明中的日志是存放在各个节点上的，就是使用得最 多，最原始的文件记录，通过对这些文件的处理，在不增加系统复杂度，不 额外使用存储设备的情况下，来完成多节点日志的查询，使用更加方便快 捷且实用性更强。

附图说明

为了使本发明的内容更容易被清楚的理解，下面根据具体实施例并结合 附图，对本发明作进一步详细的说明，其中：

图1为本发明的大规模集群下各节点日志的抓取和展示系统的结构示意 图；

图2为本发明的日志抓取和展示工具的处理流程图；

图3为本发明的日志处理和过滤处理流程图；

图4为本发明中去重模块的流程图。

具体实施方式