[发明专利]基于流应用的日志数据处理方法、装置、设备及介质

权利要求书

1.一种基于流应用的日志数据处理方法，其特征在于，包括：

获取初始日志数据与所述初始日志数据的主题；

根据所述初始日志数据的主题将所述初始日志数据发送至消息中间件的目标消息队列；

利用流应用加载所述目标消息队列，读取所述目标消息队列内所述初始日志数据，确定目标日志数据，并基于预设规则数据库确定目标规则，所述初始日志数据的主题、所述流应用类型以及所述目标规则一一对应，所述预设规则数据库存储有多个目标规则；

基于所述流应用将所述目标日志数据按所述目标规则进行处理，将处理后的所述目标日志数据存储于预设存储数据库。

2.如权利要求1所述的基于流应用的日志数据处理方法，其特征在于，所述基于所述流应用将所述目标日志数据按所述目标规则进行处理之前，还包括：

利用所述流应用监听所述预设规则数据库；

若监听到所述预设规则数据库中的所述目标规则改变，则利用规则引擎解析改变后的所述目标规则，确定目标更新规则；

待所述目标更新规则完成后，对所述流应用存储的所述目标规则进行更新，直至更新为所述目标更新规则为止。

3.如权利要求1所述的基于流应用的日志数据处理方法，其特征在于，所述基于所述流应用将所述目标日志数据按所述目标规则进行处理，包括：

若所述流应用为报警流应用，则基于所述目标规则实时检测所述目标日志数据是否触发报警，所述流应用至少包括报警流应用和跟踪流应用；

若所述目标数据触发报警，则进行报警。

4.如权利要求3所述的基于流应用的日志数据处理方法，其特征在于，所述基于所述流应用将所述目标日志数据按所述目标规则进行处理，包括：

若所述流应用为跟踪流应用，则基于所述目标规则将相同业务场景的所述目标日志数据进行聚合；

将聚合后的所述目标日志数据按时间顺序进行排序，并存储于所述预设存储数据库。

5.如权利要求1所述的基于流应用的日志数据处理方法，其特征在于，所述根据所述初始日志数据的主题将所述初始日志数据发送至消息中间件的目标消息队列，包括：

通过预设间隔时间对所述初始日志数据进行定时落盘，并将同一所述主题的所述初始日志数据发送至同一所述目标消息队列中；

若将所述初始日志数据发送至所述目标消息队列失败，则重新发送所述初始日志数据至所述目标消息队列。

6.如权利要求1至5任一所述的基于流应用的日志数据处理方法，其特征在于，在所述获取初始日志数据与所述初始日志数据的主题之前，还包括：

采集来自多个终端的待处理日志数据；

根据预设标准规范对所述待处理日志数据进行筛选；

若所述待处理日志数据不符合所述预设标准规范，则生成提示通知；

若所述待处理日志数据符合所述预设标准规范，则将所述待处理日志数据作为所述初始日志数据；

对所述初始日志数据中用户敏感数据进行检测；

若所述用户敏感数据存在于所述初始日志数据，则对所述初始日志数据进行加密；

检测加密或非加密的所述初始日志数据的流量大小；

若所述初始日志数据的流量大小大于预设流量，则对所述初始日志数据进行压缩。

7.如权利要求1所述的基于流应用的日志数据处理方法，其特征在于，在所述将处理后的所述目标日志数据存储于预设存储数据库之后，包括：

构建日志平台；

利用所述日志平台接收来自用户的请求指令，所述请求指令关联所述流应用；

基于所述流应用读取所述预设存储数据库存储的处理后的所述目标日志数据；

根据所述请求指令对处理后的所述目标日志数据进行处理，并将处理结果反馈于用户。