[发明专利]基于链路追踪的服务链日志处理方法、装置和计算机设备

说明书

本申请揭示了一种基于链路追踪的服务链日志处理方法、装置和计算机设备，其中方法包括：分别对服务链中不同应用进群进行日志数据采集，得到对应的日志数据；对所述日志数据进行格式标准化，得到标准格式的日志数据；通过Kafka中间件将所述标准格式的日志数据全量存储到Hbase数据库中；对数据进行分析处理，得到检索索引数据和统计分析数据；将所述检索索引类数据存入ES集群；将所述统计分析数据存入关系数据库MySQL。本申请通过对日志数据进行采集和数据格式标准化，然后对日志数据进行分析处理，将不同数据类型的日志数据储存在不同的数据库中，能够使运维人员快速识别关键节点数据，根据日志数据中的参数实现服务监控，提高运维效率。

技术领域

本申请涉及到通信技术领域，特别是涉及到一种基于链路追踪的服务链日志处理方法、装置和计算机设备。

背景技术

近年来，微服务架构因其服务间松耦合、可由不同团队不同语言开发以及快速独立部署等特点备受青睐，越来越多企业选择微服务架构进行系统开发或将传统集中式大型系统进行微服务化改造。微服务架构满足了企业对软件系统敏捷开发、高效运转、可伸缩性强等需求，但微服务架构带来的问题也不容忽视。

传统的监控系统、日志分析系统都是孤立的，针对当前分布式系统场景，没办法做到全链路层面的日志追踪。同时由于传统的监控系统，无法清晰监控一个业务流程经过的每一个环节、每个服务的执行时长、执行状态、过程参数、上下游服务等信息，导致运维人员处理分布式系统故障时比较困难，需要花费大量时间来理清各服务间调用关系，而且容易出错，使得整体的运维工作效率较低。

发明内容

本申请的主要目的为提供一种基于链路追踪的服务链日志处理方法、装置和计算机设备，旨在解决如何实现在分布式微服务系统中实现日志处理、提高运维效率的技术问题。

为了实现上述发明目的，本申请提出一种基于链路追踪的服务链日志处理方法，包括：

分别对服务链中不同应用进群进行日志数据采集，得到对应的日志数据；

对所述日志数据进行格式标准化，得到标准格式的日志数据；

通过Kafka中间件将所述标准格式的日志数据全量存储到Hbase数据库中；

对Kafka中间件中的日志数据进行流处理，得到检索索引数据和统计分析数据；

将所述检索索引类数据存入ES集群；

将所述统计分析数据存入关系数据库MySQL。

进一步地，所述分别对服务链中不同应用进群进行日志数据采集，得到对应的日志数据步骤，包括：

通过业务代码调用应用集群的日志输出接口进行日志采集。

进一步地，所述分别对服务链中不同应用进群进行日志数据采集，得到对应的日志数据步骤，包括：

通过代理Agent实现在不同应用集群的日志埋点，对服务调用过程切面进行拦截，捕获日志数据，完成数据采集。

进一步地，所述对所述日志数据进行格式标准化，得到标准格式的日志数据的步骤包括：

根据调用链路径关系确定TraceID、SpanID、ParentID，得到日志基本属性；

根据调用业务类型确定日志扩展属性；

将所述日志基本属性和所述日志扩展属性按照预设的格式保存为所述标准格式的日志数据。

进一步地，所述将所述统计分析数据存入关系数据库MySQL的步骤之后还包括：

接收来自WEB端的日志查询操作指令；

根据所述日志查询操作指令判断所查询的日志数据类型；