[发明专利]可视化计算工作流的系统和方法

说明书

提供了一种可视化计算工作流的系统和方法。获取指示在所述计算工作流的每个实例的每个计算阶段中执行的一个或多个作业的工作流数据以及指示每个所述一个或多个作业执行的一个或多个任务的作业数据。将每个所述一个或多个任务与相应计算阶段相关联。针对所述计算工作流的每个实例，生成在每个计算阶段中执行的每个所述一个或多个任务随时间的资源使用量的视觉表示。在公共时间线上绘制所述计算工作流的多个实例的视觉表示。

相关申请案交叉申请

本发明要求2016年12月22日递交的发明名称为“可视化计算工作流的系统和方法(SYSTEM AND METHOD FOR VISUALIZATION OF A COMPUTE WORKFLOW)”的第15/388,549号美国专利申请案的在先申请优先权，该在先申请的内容以引入的方式并入本文本中。

技术领域

本文所述实施例大体上涉及计算工作流领域，更具体地，涉及可视化计算工作流。

背景技术

计算工作流由在分布式计算集群中运行的多个相互依赖的计算任务组成。由于工作流的复杂性，希望为集群操作员提供工具以了解异常情况并跟踪日常性能，以确保满足期限并充分利用资源。虽然已提出了几种集群可视化工具，但是现有解决方案并不显示工作流通常包括的多个抽象级(例如工作流级、计算阶段级、任务级)。相反，通常在任何给定时间呈现一个抽象级，且经常需要点击范式来可视化不同的抽象级。这继而使得操作人员难以轻松地全面了解给定工作流的性能或纵向比较工作流。

因此，需要一种用于可视化计算工作流的改进系统和方法。

发明内容

根据一方面，提供了一种可视化计算工作流的方法。所述方法包括：获取指示在所述计算工作流的每个实例的每个计算阶段中执行的一个或多个作业的工作流数据以及指示每个所述一个或多个作业执行的一个或多个任务的作业数据；将每个所述一个或多个任务与相应计算阶段相关联；针对所述计算工作流的每个实例，生成在每个计算阶段中执行的每个所述一个或多个任务随时间的资源使用量的视觉表示；以及在公共时间线上绘制所述计算工作流的多个实例的视觉表示。

在一些示例实施例中，获取所述工作流数据可包括：解析一个或多个工作流日志文件以获取表示所述一个或多个作业的顺序的有向无环图，以及获取所述作业数据包括：解析一个或多个作业日志文件以获取所述一个或多个任务的标识。

在一些示例实施例中，生成所述视觉表示可包括：将每个所述一个或多个任务表示为沿着二维坐标系的第一轴具有第一维度和沿着所述二维坐标系的第二轴具有第二维度的形状，其中，所述第一维度对应于每个所述一个或多个任务的时长，所述第二维度对应于每个所述一个或多个任务使用的资源量。

在一些示例实施例中，生成所述视觉表示可包括：针对每个计算阶段，根据每个所述一个或多个任务的开始时间、每个所述一个或多个任务的所述时长以及在其上实施每个所述一个或多个任务的计算主机之一将所述形状中的多个形状沿着所述第二轴彼此相邻放置。

在一些示例实施例中，生成所述视觉表示可包括：针对所述计算工作流的每个实例，生成包括在所述二维坐标系中同时绘制的多个图形元素的图，其中，每个图形元素表示给定计算阶段并且包括所述形状中沿着所述第二轴彼此相邻放置的所述多个形状。

在一些示例实施例中，可将串行运行的计算阶段绘制为沿着所述第一轴彼此相邻放置的图形元素，以及将并行运行的计算阶段绘制为沿着所述第二轴彼此相邻放置的图形元素。

在一些示例实施例中，在公共时间线上绘制所述计算工作流的多个实例的所述视觉表示可包括：在综合视图中同时绘制所述图中的多个视觉表示。

在一些示例实施例中，生成所述视觉表示可包括：将所述形状中的所述多个形状变换为多边形，以及在所述二维坐标系中绘制所述多边形。