[发明专利]日志关联方法、装置和计算机设备

说明书

本申请涉及大数据技术，揭示了日志关联方法，包括：获取执行指定任务时调用的Sql语句和/或配置文件；根据所述Sql语句和/或配置文件,抽取执行所述指定任务时生成的对应日志；获取所述指定任务对应的指定执行逻辑；根据所述指定执行逻辑，将所述指定任务对应的日志按照预设规则进行关联。本申请根据任务调用各框架的运行逻辑，进行日志关联，可实现任务相关日志的一键输出，避免了繁杂的日志查询过程和部分日志的选择性遗漏；而且根据任务执行逻辑将关联日志进行串联，不同任务之间的日志相互隔离提高了bug定位的精准度和效率。

技术领域

本申请涉及大数据领域，特别是涉及到日志关联方法、装置和计算机设备。

背景技术

在大数据项目中，要用到多个大数据组件的紧密配合才能完成项目的特定功能，所以一个具体的任务(task)会经过多个执行组件的处理。但处理环节的增加，在项目调试或者提测之后的bug定位中会变得更加复杂，因为一个执行组件出现执行问题，会造成多个执行组件均会报错，但是各个执行组件的日志又是相互独立的；各个执行组件的日志的查看方式也不同，增加了特定任务对应日志查看的难度，而且跨执行组件的bug定位需要消耗大量时间，且可能会有遗漏。

发明内容

本申请的主要目的为提供日志关联方法，旨在解决现有日志查看方式不能快速定位bug的技术问题。

本申请提出一种日志关联方法，包括：

获取执行指定任务时调用的Sql语句和/或配置文件；

根据所述Sql语句和/或配置文件,抽取执行所述指定任务时生成的对应日志；

获取所述指定任务对应的指定执行逻辑；

根据所述指定执行逻辑，将所述指定任务对应的日志按照预设规则进行关联。

优选地，所述执行组件包括Impala组件，所述根据所述Sql语句和/或配置文件,抽取执行所述指定任务时生成的对应日志的步骤，包括：

通过对所述Sql语句反推，得到所述Sql语句的任务ID；

根据所述任务ID得到所述Impala组件执行Impala任务时，日志列表中对应生成的Query日志和执行日志；

通过解析所述Sql语句，得到执行所述指定任务时所涉及到的指定表的表名；

将所述指定表的表名与元数据信息进行关联，得到所述指定表对应的表信息日志。

优选地，所述执行组件包括Zookeeper组件，所述根据所述Sql语句和/或配置文件,抽取执行所述指定任务时生成的对应日志的步骤，包括：

读取执行所述指定任务时的配置文件，获取执行所述指定任务时所述Zookeeper组件产生的原始日志的存储路径；

根据所述存储路径获取所述Zookeeper组件产生的原始日志的数据包；

解析所述原始日志的数据包，得到事物日志和快照日志。

优选地，所述根据所述指定执行逻辑，将所述指定任务对应的日志按照预设规则进行关联的步骤，包括：

根据所述指定执行逻辑，确定所述指定任务对应的所有关联节点；

根据指定关联节点，选择与所述指定关联节点相关的指定日志，其中，所述指定关联节点为所述指定任务对应的所有关联节点中的任意一个；

将与所述指定关联节点相关的指定日志关联为指定日志子集合；

将所述指定日志子集合关联于所述指定关联节点处；

根据所述指定日志子集合与所述指定关联节点的过程，完成所有关联节点处的子日志集合的关联；