[发明专利]数据任务的延迟原因确定方法、装置、电子设备及介质

说明书

本公开提供了数据任务的延迟原因确定方法、装置、电子设备及介质，涉及数据处理技术领域，尤其涉及大数据处理领域。具体实现方案为：针对内部任务的各内部实例，获得其对应的全链路运行诊断信息，基于该全链路运行诊断信息中包含的实例延迟诊断结果，确定延迟的内部实例及其上游延迟实例的运行诊断信息，根据目标实例信息和其各个上游的全链路运行诊断信息，按照设定的延迟归因策略，确定目标内部实例的延迟原因。本公开中，基于全链路运行诊断信息定位数据任务延迟的原因，实现了数据任务延迟的自动化归因，大大节约人力成本。

技术领域

本公开涉及数据处理技术领域，尤其涉及大数据处理中数据任务的延迟原因确定方法、装置、电子设备及存储介质。

背景技术

随着业务发展，很多企业都会生产、加工大量的数据。从数据产生到数据呈现，会经过多个部门、多个团队的加工处理，数据链路十分复杂。任何一个数据任务节点发生延迟，都会使下游核心数据遭受延迟风险，因此，需要对数据链路进行分析，以确定出数据任务的延迟原因。

发明内容

本公开提供了一种用于自动确定数据任务的延迟原因的数据任务的延迟原因确定方法、装置、电子设备及介质。

根据本公开的一方面，提供了一种数据任务的延迟原因确定方法，包括：

针对各个内部任务的各个内部实例，从该内部实例的实例信息中获得该内部实例对应的全链路运行诊断信息；

基于各个全链路运行诊断信息包含的内部实例及其上游实例的运行诊断信息、和上下游关系，获得发生延迟的目标内部延迟实例和上游延迟实例的运行诊断信息；

基于所述目标实例信息、各个上游全链路运行诊断信息按照设定的延迟归因策略，确定目标内部延迟实例的延迟原因。

根据本公开的另一方面，提供了一种数据任务的延迟原因确定装置，包括：

运行诊断信息获取模块，用于针对各个内部任务的各个内部实例，从该内部实例的实例信息中获得该内部实例对应的全链路运行诊断信息；

目标内部延迟实例获取模块，用于基于各个全链路运行诊断信息包含的内部实例及其上游实例的运行诊断信息、和上下游关系，获得发生延迟的目标内部延迟实例和上游延迟实例的运行诊断信息；

延迟原因确定模块，用于基于所述目标实例信息、各个上游全链路运行诊断信息按照设定的延迟归因策略，确定目标内部延迟实例的延迟原因。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行任一所述的数据任务的延迟原因确定方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据任一所述的数据任务的延迟原因确定方法方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据任一所述的数据任务的延迟原因确定方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开提供的数据任务的延迟原因确定方法的第一实施例的示意图；