[发明专利]一种流水线日志分析控制方法和装置

权利要求书

1.一种流水线日志分析控制方法，其特征在于，包括：

采集执行流水线产生的基础日志数据；

对基础日志数据进行加工，确定结构化日志，写入日志库；

响应于筛选条件的输入，利用预先编制的错误编码库从日志库中定位所需结构化日志，输出统计分析结果。

2.如权利要求1所述的方法，其特征在于，采集执行流水线产生的基础日志数据，包括：

执行流水线，流水线按插件顺序执行的同时记录包括执行时间点、插件信息和执行时长的指标数据；

判断流水线是否执行通过；

若执行通过，则输出执行结果，将执行结果和指标数据作为基础日志数据；

若执行失败，则提取执行日志中的错误信息，输出执行结果和错误信息，将执行结果、错误信息和指标数据作为基础日志数据；

将基础日志数据写入数据仓库。

3.如权利要求1所述的方法，其特征在于，对基础日志数据进行加工，确定结构化日志，写入日志库，包括：

从数据仓库中提取基础日志数据，通过编排内置函数、正则表达式和自定义函数的加工逻辑，对基础日志数据进行加工，进行基础日志数据的数据规整、数据富化、数据转换和数据过滤处理，获取结构化数据；

将结构化数据中文本形式的错误信息转化为错误类型或错误编码，过滤出关键服务的日志，确定结构化日志，写入日志库。

4.如权利要求3所述的方法，其特征在于，所述预先编制的错误编码库，包括：

对流水线执行失败日志进行统计，确定错误类型并定义对应编码；所述错误类型，至少包括：编译错误，环境错误，授权错误，超时错误，构件错误，部署错误；

将错误类型编码、插件编码和二级错误原因序号作为编码规则，编制错误编码库。

5.如权利要求4所述的方法，其特征在于，响应于筛选条件的输入，利用预先编制的错误编码库从日志库中定位所需结构化日志，输出统计分析结果，包括：

响应于筛选条件的输入，利用预先编制的错误编码库从日志库中定位所需结构化日志，获取所需结构化日志；

确定是否需要进行可视化展示；

如果不需要进行可视化展示，则将所需结构化日志进行分类统计汇总，输出统计分析结果；

如果需要进行可视化展示，则选择适配的统计图表，通过统计分析方法聚类问题，以图表的形式进行可视化展示。

6.一种流水线日志分析控制装置，其特征在于，包括：

采集模块，用于采集执行流水线产生的基础日志数据；

加工模块，用于对基础日志数据进行加工，确定结构化日志，写入日志库；

统计分析模块，用于响应于筛选条件的输入，利用预先编制的错误编码库从日志库中定位所需结构化日志，输出统计分析结果。

7.如权利要求6所述的装置，其特征在于，采集模块，具体用于：

执行流水线，流水线按插件顺序执行的同时记录包括执行时间点、插件信息和执行时长的指标数据；

判断流水线是否执行通过；

若执行通过，则输出执行结果，将执行结果和指标数据作为基础日志数据；

若执行失败，则提取执行日志中的错误信息，输出执行结果和错误信息，将执行结果、错误信息和指标数据作为基础日志数据；

将基础日志数据写入数据仓库。

8.如权利要求6所述的装置，其特征在于，加工模块，具体用于：

从数据仓库中提取基础日志数据，通过编排内置函数、正则表达式和自定义函数的加工逻辑，对基础日志数据进行加工，进行基础日志数据的数据规整、数据富化、数据转换和数据过滤处理，获取结构化数据；

将结构化数据中文本形式的错误信息转化为错误类型或错误编码，过滤出关键服务的日志，确定结构化日志，写入日志库。