[发明专利]日志关联方法、装置和计算机设备

权利要求书

1.一种日志关联方法，其特征在于，包括：

获取执行指定任务时调用的Sql语句和/或配置文件；

根据所述Sql语句和/或配置文件,抽取执行所述指定任务时生成的对应日志；

获取所述指定任务对应的指定执行逻辑；

根据所述指定执行逻辑，将所述指定任务对应的日志按照预设规则进行关联。

2.根据权利要求1所述的日志关联方法，其特征在于，所述执行组件包括Impala组件，所述根据所述Sql语句和/或配置文件,抽取执行所述指定任务时生成的对应日志的步骤，包括：

通过对所述Sql语句反推，得到所述Sql语句的任务ID；

根据所述任务ID得到所述Impala组件执行Impala任务时，日志列表中对应生成的Query日志和执行日志；

通过解析所述Sql语句，得到执行所述指定任务时所涉及到的指定表的表名；

将所述指定表的表名与元数据信息进行关联，得到所述指定表对应的表信息日志。

3.根据权利要求2所述的日志关联方法，其特征在于，所述执行组件包括Zookeeper组件，所述根据所述Sql语句和/或配置文件,抽取执行所述指定任务时生成的对应日志的步骤，包括：

读取执行所述指定任务时的配置文件，获取执行所述指定任务时所述Zookeeper组件产生的原始日志的存储路径；

根据所述存储路径获取所述Zookeeper组件产生的原始日志的数据包；

解析所述原始日志的数据包，得到事物日志和快照日志。

4.根据权利要求1所述的日志关联方法，其特征在于，所述根据所述指定执行逻辑，将所述指定任务对应的日志按照预设规则进行关联的步骤，包括：

根据所述指定执行逻辑，确定所述指定任务对应的所有关联节点；

根据指定关联节点，选择与所述指定关联节点相关的指定日志，其中，所述指定关联节点为所述指定任务对应的所有关联节点中的任意一个；

将与所述指定关联节点相关的指定日志关联为指定日志子集合；

将所述指定日志子集合关联于所述指定关联节点处；

根据所述指定日志子集合与所述指定关联节点的过程，完成所有关联节点处的子日志集合的关联；

将所有所述指定日志子集合，按照所述指定任务对应的所有关联节点的连接关系，串联成所述指定任务对应的日志集合。

5.根据权利要求4所述的日志关联方法，其特征在于，所述关联节点包括Node节点，与所述Node节点相关的日志包括事物日志和快照日志，所述将与所述指定关联节点相关的指定日志关联为指定日志子集合的步骤，包括：

按照每行为一条行日志文件的方式，逐条抽取出所述事物日志中所有的行日志文件，组合成所有所述行日志文件对应的第一集合；

按照每段为一条段日志文件的方式，逐条抽取出所述快照日志中所有的段日志文件，组合成所有所述段日志文件对应的第二集合；

提取所述第一集合中各所述行日志文件分别对应的第一Node,提取所述第二集合中各所述段日志文件分别对应的第二Node；

判断所述第一Node是否与所述第二Node相同；

若是，则将具有相同Node的指定行日志文件与指定段日志文件关联为所述指定日志子集合，其中，所述指定行日志文件属于所述第一集合中所有所述行日志文件中的任意一条，所述指定段日志文件属于所述第二集合中所有所述段日志文件中的任意一条；

将所述指定日志子集合以相同Node为ID，关联于所述指定任务对应的Node节点。