[发明专利]基于流应用的日志数据处理方法、装置、设备及介质

说明书

本发明提供一种基于流应用的日志数据处理方法、装置、设备及介质，该方法包括：获取初始日志数据与初始日志数据的主题；根据初始日志数据的主题将初始日志数据发送至消息中间件的目标消息队列；利用流应用加载目标消息队列，读取目标消息队列内初始日志数据，确定目标日志数据，并基于预设规则数据库确定目标规则，初始日志数据的主题、流应用类型以及目标规则一一对应，预设规则数据库存储有多个目标规则；基于流应用将目标日志数据按目标规则进行处理，将处理后的日志数据存储于预设存储数据库。本发明在保障了日志数据处理的实时性的同时，还实现了日志数据处理的高可用性和通用性。

技术领域

本发明涉及数据处理技术领域，具体涉及一种基于流应用的日志数据处理方法、装置、设备及介质。

背景技术

日志系统的存在具有普遍性和必要性，其可以记录终端所产生的日志，并根据这些日志数据来观察终端运行情况，以快速准确的排查问题。目前，日志系统的发展越来越快，日志系统能够支持的功能也越来越多，例如，日志采集、日志查询、审计日志以及日志分析等，这些功能的实现依赖于对日志数据的处理。在传统的日志系统中，一个日志系统只服务于一个终端，产生的日志数据少，对日志数据的处理也相对简单，但随着业务场景变得更加多样化，一个日志系统可能涉及到多个终端，各终端的日志数据没有集中管理，不便于为用户提供与各终端日志相关的服务。

在相关技术中，通常采用各终端先将运行所产生的日志数据存储于本地，直至数据量达到一定程度后或等待一定时间后再将日志数据发送至日志系统，由日志系统统一对各终端的日志数据进行处理。一方面，不能及时对日志数据进行处理，存在日志数据处理实时性差的问题；另一方面，多终端日志数据的数据量巨大，日志数据之间的业务关系复杂，容易杂糅，导致处理效率低、可用性差。

发明内容

鉴于以上所述现有技术的缺点，本发明提供一种基于流应用的日志数据处理方法、装置及存储介质，以解决上述技术问题中的至少之一。

在第一方面，本发明提供了一种基于流应用的日志数据处理方法，包括：

获取初始日志数据与所述初始日志数据的主题；

息队列；

利用流应用加载所述目标消息队列，读取所述目标消息队列内所述初始日志数据，确定目标日志数据，并基于预设规则数据库确定目标规则，所述初始日志数据的主题、所述流应用类型以及所述目标规则一一对应，所述预设规则数据库存储有多个目标规则；

基于所述流应用将所述目标日志数据按所述目标规则进行处理，将处理后的所述日志数据存储于预设存储数据库。

于本发明的一实施例中，所述基于所述流应用将所述目标日志数据按所述目标规则进行处理之前，包括：

利用所述流应用监听所述预设规则数据库；

若监听到所述预设规则数据库中的所述目标规则改变，则利用规则引擎解析改变后的所述目标规则，确定目标更新规则；

待所述目标更新规则完成后，对所述流应用存储的所述目标规则进行更新，直至更新为所述目标更新规则为止。

于本发明的一实施例中，所述基于所述流应用将所述目标日志数据按所述目标规则进行处理，包括：

若所述流应用为报警流应用，则基于所述目标规则实时检测所述目标日志数据是否触发报警，所述流应用至少包括报警流应用和跟踪流应用；

若所述目标数据触发报警，则进行报警。

于本发明的一实施例中，所述基于所述流应用将所述目标日志数据按所述目标规则进行处理，还包括：

若所述流应用为跟踪流应用，则基于所述目标规则将相同业务场景的所述目标日志数据进行聚合；