[发明专利]任务运行日志的处理方法、装置、设备及存储介质

说明书

本公开提出了一种任务运行日志的处理方法、装置、设备及存储介质，该方法包括：获取并保存预置的报错原因关键词和对应的报错规则；当任务运行失败时，根据所保存的报错规则去匹配任务运行日志；将匹配成功的报错规则所对应的报错原因关键词展示到前端。

技术领域

本发明涉及人工智能领域，更具体地，涉及一种任务运行日志的处理方法、一种任务运行日志的处理装置、一种包括至少一个计算装置和至少一个存储装置的设备、及一种计算机可读存储介质。

背景技术

目前，在人工智能领域，普遍无法做到运行错误自动探测和运行状态透明化。现有技术中，当任务运行失败时，用户需要对日志进行关键词搜索和定位，然后人工发现问题，该种方法主要依赖于人工手动发现问题，极大浪费时间和工作量，导致效率低下；同时，在任务运行失败时，其仅能在任务运行结束后由人工手动去进行分析，无法做到事中实时展示，也无法提供运行失败原因的自动探测，对于金融、政府等要求可信可靠的行业用户，是无法被实际应用的。

发明内容

本公开实施例的一个目的是提供一种任务运行日志的处理的新的技术方案。

根据本公开的第一方面，提供了一种任务运行日志的处理方法，其包括：

获取并保存预置的报错原因关键词和对应的报错规则；

当任务运行失败时，根据所保存的报错规则去匹配任务运行日志；

将匹配成功的报错规则所对应的报错原因关键词展示到前端。

可选地，所述报错原因关键词和对应的报错规则包括如下中的至少一种：

内存不足，对应单个关键字报错；

license超限，对应同时满足多个关键字且不在同一行报错；

算法参数配置错误，对应同时满足多个关键字且不在同一行报错；

脚本语法错误，对应同时满足多个关键字且不在同一行报错；

集群时区不同步，对应同时满足多个关键字且不在同一行报错；

权限不足，对应单个关键字报错。

可选地，所述方法还包括：根据所述任务中的执行步骤的先后顺序，对所述任务的运行日志进行分类收集，从而得到多个子日志文件；

所述根据所保存的报错规则去匹配任务运行日志包括：根据所述多个子日志文件的产生顺序的倒序去进行匹配。

可选地，所述多个子日志文件包括：引擎日志、非业务日志和业务日志。

可选地，所述引擎日志用于记录调度执行引擎时的系统相关信息；所述非业务日志用于记录任务运行时的系统相关信息；所述业务日志用于记录任务运行时的算法相关信息。

可选地，所述引擎日志在所述任务运行之前的第一阶段生成，所述非业务日志在所述任务运行的第二阶段生成，所述业务日志在所述任务运行的第三阶段生成，所述第二阶段、所述第三阶段依时间顺序先后执行。

可选地，所述多个子日志文件包括引擎日志和非业务日志，

所述根据所述多个子日志文件的产生顺序的倒序去进行匹配，包括：

从最后一条所述非业务日志开始从后向前依次匹配。

可选地，所述多个子日志文件包括引擎日志、非业务日志和业务日志，所述根据所述多个子日志文件的产生顺序的倒序去进行匹配，包括：

从最后一条所述业务日志开始从后向前依次匹配。

可选地，当任务运行失败时，由执行引擎向调度器报错，由调度器执行所述匹配和展示到前端的步骤。