[发明专利]一种多数据源日志数据集中收集存储方法及装置

说明书

本发明提供一种多数据源日志数据集中收集存储方法，在各应用服务器上安装日志收集系统客户端，通过日志收集系统客户端收集各应用服务器的日志数据并发送给日志处理系统；日志处理系统在接收到日志数据后，先将原始的日志数据复制一份到日志存储系统中进行保存；再对原始的日志数据进行筛选、切割、分类以及合并处理，并将处理后的新日志数据保存到日志存储系统中；在日志展示系统中建立日志索引，并根据日志索引从日志存储系统中获取日志数据进行展示。本发明还提供一种方法所对应的装置。通过本发明来实现多数据源日志的收集存储和检索，可提高故障处理效率，提升数据分析能力，并为后期的故障排查奠定良好的基础。

技术领域

本发明涉及日志处理领域，特别涉及一种多数据源日志数据集中收集存储方法及装置。

背景技术

分布式应用是由不同的运行于分离的运行环境下的组件构成的应用程序，通常是在不同的平台上通过网络互联起来。典型的分布式应用有二端(Client/Server)，三端(client/middleware/server)和n端(client/multiple middleware/multiple server)。

目前，分布式应用集群已得到了广泛的应用。在分布式应用集群出现异常或故障时，为了降低异常或故障所造成的影响，技术人员都需要第一时间去进行异常排查或故障定位。传统情况下都是通过人工依次登录成群服务器节点进行硬件资源检测、操作系统状态检查、应用日志分析等步骤。但是，由于服务器集群存在地域分散性、排查步骤繁多等因素，因此，在具体进行排查或定位时，通常都需要消耗大量的时间，根本无法实现第一时间修复故障，这也导致企业SLA指标下降，并严重影响了系统用户的体验，同时也造成了企业的经济损失。

发明内容

本发明要解决的技术问题之一，在于提供一种多数据源日志数据集中收集存储方法，通过该方法来实现多数据源日志的收集存储和检索，可提高故障处理效率，提升数据分析能力，并为后期的故障排查奠定良好的基础。

本发明是这样实现技术问题之一的：一种多数据源日志数据集中收集存储方法，所述方法包括如下步骤：

步骤S1、在各应用服务器上安装日志收集系统客户端，通过日志收集系统客户端收集各应用服务器的日志数据并发送给日志处理系统；

步骤S2、日志处理系统在接收到日志数据后，先将原始的日志数据复制一份到日志存储系统中进行保存；再对原始的日志数据进行筛选、切割、分类以及合并处理，并将处理后的新日志数据保存到日志存储系统中；

步骤S3、在日志展示系统中建立日志索引，并根据日志索引从日志存储系统中获取日志数据进行展示。

进一步地，所述步骤S2还包括：

在对原始的日志数据进行处理时，日志处理系统对新日志数据中的日志内容属性进行扫描，并自动匹配告警规则，且根据告警规则触发日志预警系统发送警报内容进行告警；所述警报内容包括应用服务器IP、日志别名、日志路径以及日志内容。

进一步地，所述步骤S1具体为：

在各应用服务器上安装日志收集系统客户端，并对日志收集系统的配置文件进行参数配置，配置的参数至少包括本机IP地址、日志文件路径、日志多行合并、收集规则、日志处理系统的地址以及日志间隔时间；

运行日志收集系统的应用程序，应用程序读取配置文件，并检查配置文件是否正确，如果否，则停止应用程序的运行，并发送提示消息给日志收集系统客户端；如果是，则按照配置文件中配置的收集规则扫描对应的日志文件，并将扫描到的日志数据实时发送给日志处理系统。

进一步地，所述日志存储系统上设置有一个本地服务器节点以及至少一个服务器从节点；

所述步骤S2具体包括：