[发明专利]作业状态预测方法、装置和电子设备

说明书

本公开提供了一种作业状态预测方法、装置和电子设备，可用于人工智能领域、金融领域等。该作业状态预测方法包括：采集用于执行作业的节点的属性信息，以及与作业关联的日志；利用经训练的作业状态预测模型处理节点的属性信息，得到第一预测结果，并且，基于从日志中提取的至少一个关键词确定第二预测结果；以及基于第一预测结果、第一预测结果权重、第二预测结果和第二预测结果权重确定作业状态。

技术领域

本公开涉及人工智能技术领域和金融领域，更具体地，涉及一种作业状态预测方法、装置和电子设备。

背景技术

目前随着大数据技术的飞速发展，企业需要处理的数据呈几何指数式增长。例如，大型机构每日产生的交易数据达到TB甚至PB级别，这些数据都需要被收集起来进行后续统计、分析、营销等，批量作业扮演了数据搬运和加工的角色。

在实现本公开构思的过程中，申请人发现相关技术中至少存在如下问题，在进行批量作业处理时，需要基于批量作业的依赖关系进行调度。相关技术无法及时地预测出可能发生的作业异常，如只有当发生作业中断等异常之后，才能由人工介入处理，处理时效较低。

发明内容

有鉴于此，本公开提供了一种作业状态预测方法、装置和电子设备，以至少部分解决作业异常处理时效较低的问题。

本公开的一个方面提供了作业状态预测方法，采集用于执行作业的节点的属性信息，以及与作业关联的日志；利用经训练的作业状态预测模型处理节点的属性信息，得到第一预测结果，并且，基于从日志中提取的至少一个关键词确定第二预测结果；以及基于第一预测结果、第一预测结果权重、第二预测结果和第二预测结果权重确定作业状态。

根据本公开实施例，基于从日志中提取的至少一个关键词确定第二预测结果包括：基于日志的分词结果在作业异常知识库中的匹配结果确定表征作业异常的第二预测结果。

根据本公开实施例，作业异常知识库中关键词具有对应的关键词权重和预测属性信息，关键词权重是基于关键词在针对异常作业场景的日志中出现次数和作业异常知识库中特征词的总数来确定的，预测属性信息包括：匹配成功次数、预测结果属性。

根据本公开实施例，作业异常知识库通过如下方式构建：获取针对异常作业场景的第一日志分词结果和针对正常作业场景的第二日志分词结果；对于每个异常作业场景的日志句子，基于第一日志分词结果和第二日志分词结果确定针对异常作业场景的日志句子与所有针对正常作业场景的日志句子各自之间的句子相似度；确定句子相似度小于或等于预设相似度阈值的针对异常作业场景的候选日志句子；基于第一日志分词结果和第二日志分词结果，从候选日志句子中获取在异常作业场景中存在，并且在正常作业场景中不存在的特征词；以及将特征词添加到作业异常知识库中。

根据本公开实施例，基于第一日志分词结果和第二日志分词结果，从候选日志句子中获取在异常作业场景中存在，并且在正常作业场景中不存在的特征词包括：构建异常作业信息集合和正常作业信息集合，其中，异常作业信息集合包括异常作业场景的作业属性信息和第一日志分词结果，正常作业信息集合包括正常作业场景的作业属性信息和第二日志分词结果；以及将异常作业信息集合中分词结果和针对分词结果的近义词在正常作业信息集合中匹配结果都是空的分词结果，作为特征词。

根据本公开实施例，上述方法还包括：在确定表征作业异常的第二预测结果之后，更新作业异常知识库中与各关键词对应的关键词权重和预测属性信息；以及响应于预测属性信息中预测错误次数大于或等于预设错误次数阈值，更新作业异常知识库中关键词。

根据本公开实施例，用于执行作业的节点包括底层节点、中间层节点和顶层节点，中间层节点与至少一个底层节点相关联；采集用于执行作业的节点的属性信息包括：通过第一消息队列将从底层节点中采集的属性信息发送给中间层节点；以及中间层节点将属性信息存储在属性数据集合中，以便顶层节点从属性数据集合中读取用于执行作业的节点的属性信息。