[发明专利]日志数据处理方法、系统和存储介质

说明书

本申请涉及一种日志数据处理方法、系统和存储介质。所述方法包括：通过多于一种的、且对应不同服务类型的业务服务器，获取各自对应的日志数据；各业务服务器按预设格式，将日志数据生成对应的日志文件；各业务服务器将各自对应的日志文件分别发送至分流处理集群；分流处理集群按日志文件中各日志数据的生成时间，对日志数据进行分流处理，得到第一分流日志文件和第二分流日志文件；第一分流日志文件包括全量日志数据，第二分流日志文件包括实时日志数据；分流处理集群将第一分流日志文件和第二分流日志文件分别存储至相应的存储设备。采用本方法能够升日志数据处理效率。

技术领域

本申请涉及计算机技术领域，特别是涉及一种日志数据处理方法、系统和存储介质。

背景技术

随着计算机技术的发展，各公司提供的服务功能越来越复杂，对应的系统服务器也越来越多，日志数据的有效处理，对统一管理和维护各系统各模块起着至关重要的作用。在传统技术中，针对不同的系统和不同的服务功能，对应的日志数据也存储在不同的服务器中。在需要查看日志数据时，可依次遍历所有的服务器进行相关日志数据的查询。

然而，目前的日志数据处理方法，在日志数据查询、问题快速定位等方面操作复杂，从而导致了日志数据处理效率低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提升日志数据处理效率的日志数据处理方法、系统和存储介质。

一种日志数据处理方法，所述方法包括：

通过多于一种的、且对应不同服务类型的业务服务器，获取各自对应的日志数据；

各所述业务服务器按预设格式，将所述日志数据生成对应的日志文件；

各所述业务服务器将各自对应的日志文件分别发送至分流处理集群；

所述分流处理集群按所述日志文件中各日志数据的生成时间，对所述日志数据进行分流处理，得到第一分流日志文件和第二分流日志文件；所述第一分流日志文件包括全量日志数据，所述第二分流日志文件包括实时日志数据；

所述分流处理集群将所述第一分流日志文件和所述第二分流日志文件分别存储至相应的存储设备。

一种日志数据处理系统，所述系统包括多于一种的、且对应不同服务类型的业务服务器、分流处理集群和存储设备，

各业务服务器，用于获取各自对应的日志数据；

各业务服务器，还用于按预设格式，将所述日志数据生成对应的日志文件；

各业务服务器，还用于将各自对应的日志文件分别发送至分流处理集群；

分流处理集群，用于按所述日志文件中各日志数据的生成时间，对所述日志数据进行分流处理，得到第一分流日志文件和第二分流日志文件；所述第一分流日志文件包括全量日志数据，所述第二分流日志文件包括实时日志数据；

分流处理集群，还用于将所述第一分流日志文件和所述第二分流日志文件分别存储至相应的存储设备。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

通过多于一种的、且对应不同服务类型的业务服务器，获取各自对应的日志数据；

各所述业务服务器按预设格式，将所述日志数据生成对应的日志文件；

各所述业务服务器将各自对应的日志文件分别发送至分流处理集群；

所述分流处理集群按所述日志文件中各日志数据的生成时间，对所述日志数据进行分流处理，得到第一分流日志文件和第二分流日志文件；所述第一分流日志文件包括全量日志数据，所述第二分流日志文件包括实时日志数据；