[发明专利]分析大规模数据处理作业的方法、系统以及计算机可读存储设备

权利要求书

1.一种用于分布式计算系统中的数据分析的计算机实施的方法，其特征在于，所述方法包括：

访问存储在第一处理区(104,106,108)的存储设备中的数据，所述数据与已经执行的特定分布式数据处理作业相关联；

从存储在所述存储设备中的所述数据检测识别信息，所述识别信息识别与所述特定分布式数据处理作业相关联的特定子作业；

响应于检测到识别与所述特定分布式数据处理作业相关联的特定子作业的所述识别信息，将所述识别信息与存储在第二处理区(104,106,108)的存储设备中的数据进行比较；

基于将所述识别信息与存储在所述第二处理区(104,106,108)的所述存储设备中的数据进行比较的结果，将附加子作业识别为与所述特定分布式数据处理作业相关联；

对于所述特定分布式数据处理作业，将与所述特定子作业相关联的特定输出数据和与所述附加子作业相关联的附加输出数据相关联；

基于与所述特定子作业相关联的所述特定输出数据和与所述附加子作业相关联的所述附加输出数据，确定所述特定分布式数据处理作业的性能数据；

将所述特定分布式数据处理作业与特定流水线(210)相关联，其中，对于所述特定分布式数据处理作业，将与所述特定子作业相关联的所述特定输出数据和与所述附加子作业相关联的所述附加输出数据相关联包括，将所述特定子作业和所述附加子作业与所述特定流水线(210)相关联；以及

基于与所述特定子作业相关联的所述特定输出数据和与所述附加子作业相关联的所述附加输出数据，提供用于显示的所述特定分布式数据处理作业的所述性能数据。

2.根据权利要求1所述的方法，其特征在于，还包括：

将所述特定分布式数据处理作业的性能数据与性能阈值进行比较；以及

基于将所述特定分布式数据处理作业的性能数据与所述性能阈值进行比较的结果，提供通知。

3.根据权利要求2所述的方法，其特征在于，所述通知包括以下中的一个或多个：听觉警报、触觉警报、视觉警报或电子消息。

4.根据权利要求2所述的方法，其特征在于，所述性能数据包括以下中的一个或多个：运行时间、存储器使用、CPU时间、盘使用、每个子作业与所述特定分布式数据处理作业之间的关系、与所述特定分布式数据处理作业相关联的一个或多个计数器、或处理状态。

5.根据权利要求4所述的方法，其特征在于，所述运行时间、所述存储器使用、所述CPU时间、所述盘使用、每个子作业与所述特定分布式数据处理作业之间的所述关系、与所述特定分布式数据处理作业相关联的一个或多个所述计数器、性能度量和/或所述处理状态根据所述通知和/或根据与所述性能阈值有关的所述比较的所述结果而改变。

6.根据权利要求1至5中任一项所述的方法，其特征在于，还包括：

显示包括所述性能数据的显示的用户界面(270)，

其中，所述用户界面(270)包括交互式分层结构。

7.根据权利要求1至5中任一项所述的方法，其特征在于，所述识别信息包括在所述数据中所识别的公共前缀。

8.根据权利要求1至5中任一项所述的方法，其特征在于，

还包括：

确定所述特定流水线(210)的第一运行的流水线性能数据；以及

确定所述特定流水线(210)的第二运行的流水线性能数据。