[发明专利]税务端系统日志实时分析方法、设备、介质及系统

说明书

本发明公开了一种税务端系统日志实时分析方法、设备、介质及系统。方法包括：对税务端系统业务操作产生的日志数据进行多线程分布式实时采集；将采集的日志数据缓存至消息队列集群中，同时将采集的日志数据作为原始日志数据进行分布式存储；提取消息队列集群中的日志数据并基于流计算工具对日志数据进行实时分析处理，同时将分析结果进行实时存储；提供操作界面，通过操作界面基于大数据计算引擎对原始日志数据进行查询、查询结果展示以及离线分析处理，或通过操作界面根据查询条件对实时存储的分析结果进行实时查询和查询结果展示。实现快速、准确的获取到相关信息，快速定位系统问题。

技术领域

本发明涉及数据处理领域，更具体地，涉及一种税务端系统日志实时分析方法、设备、介质及系统。

背景技术

防伪税控系统税务局端在运行过程中会产生大量的日志，会记录每一个纳税人的每一个操作等日志数据，这些日志以文件的形式存储在本地。当发现问题后，开发人员或者运维人员在排查问题时，需要逐个排查每个文件，从中查找与问题相关的日志数据，有时需要统计一个纳税人识别号在某一个时间段内做了多少个操作，或者某个业务如主机分退票业务在某一时间段内一共被执行了多少次。有时这些日志数据是杂乱无序的，也可能并不在一个文件中，这就需要工作人员逐个排查日志文件去分析统计，花费了大量时间，严重影响了工作效率。

因此需要提出一种新的税务端日志分析方法，能够快速准确的获取到相关日志数据信息，从而快速定位系统问题、提高工作效率。

发明内容

本发明的目的是提出一种税务端系统日志实时分析方法、设备、介质及系统，实现快速准确的获取到相关日志数据信息，从而快速定位系统问题、提高工作效率。

为实现上述目的，本发明提出了一种税务端系统日志实时分析方法，包括：

步骤1：对税务端系统业务操作产生的日志数据进行多线程分布式实时采集；

步骤2：将采集的所述日志数据缓存至消息队列集群中，同时将采集的所述日志数据作为原始日志数据进行分布式存储；

步骤3：提取所述消息队列集群中的所述日志数据并基于流计算工具对所述日志数据进行实时分析处理，同时将分析结果进行实时存储；

步骤4：提供操作界面，通过所述操作界面基于大数据计算引擎对所述原始日志数据进行查询、查询结果展示以及离线分析处理，或通过所述操作界面根据查询条件对实时存储的所述分析结果进行实时查询和查询结果展示。

可选地，所述步骤1包括：在税务端服务器上部署至少一个Flume日志采集客户端，所述Flume日志采集客户端基于配置文件对税务端系统进行多线程的日志数据采集。

可选地，所述步骤2包括：通过Kafka消息队列集群对实时采集的所述日志数据进行缓存，同时将采集的所述日志数据存储至Hadoop分布式文件系统中，作为原始日志数据进行持久化保持；

对所述Kafka消息队列集群设置自动清理机制，以对过期的日志数据进行清理。

可选地，所述通过Kafka消息队列集群对采集的所述日志数据进行缓存包括：通过所述Kafka消息队列集群创建的分区以及与日志数据关联的消息类别对所述日志数据进行缓存。

可选地，所述步骤3包括：通过Spark流实时计算程序拉取所述Kafka消息队列集群中缓存的日志数据进行分析以获取每个业务操作的完整信息，并实时输出分析结果，同时将所述分析结果进行存储。

可选地，在所述步骤4中，所述基于大数据计算引擎对所述原始日志数据进行离线分析处理包括：通过所述操作界面利用Spark计算引擎对所述原始日志数据进行离线分析处理。

本发明还提出一种电子设备，所述电子设备包括：

至少一个处理器；以及，