[发明专利]在集群系统中执行软件性能测试作业

权利要求书

1.一种用于为在多主机系统上运行的应用收集性能统计信息的由计算机实现的方法，包括以下步骤：

在测试框架处接收指定测试细节的输入，其中所述测试细节包括测试计划；

基于所述输入，所述测试框架在执行主机上执行所述测试计划，其中执行所述测试计划包括：

在多个主机中的每一个上发起应用的至少一部分的执行；

从所述多个主机中的每个主机接收指示出特定时间段的性能统计信息的性能数据；

基于所述性能数据，所述测试框架生成测试结果，该测试结果包括针对多个性能度量的多个数据报告；以及

所述测试框架向用户呈现所述测试结果。

2.如权利要求1所述的方法，其中，所述多个主机中的第一主机在执行第一操作系统，并且所述多个主机中的第二主机在执行与所述第一操作系统不同的第二操作系统。

3.如权利要求1所述的方法，其中，所述测试细节还包括一个或多个属性，并且其中执行所述测试计划还包括利用所述一个或多个属性中的至少一些属性作为包括所述测试计划的执行脚本的参数的值，来调用所述执行脚本。

4.如权利要求1所述的方法，还包括以下步骤：所述测试框架基于所述测试细节中定义的执行主机特性来确定所述执行主机的身份。

5.如权利要求1所述的方法，还包括以下步骤：所述测试框架基于所述测试细节中定义的特性来确定所述多个主机的身份。

6.如权利要求1所述的方法，其中从所述多个主机中的每个主机接收指示出特定时间段的性能统计信息的性能数据的步骤还包括：

所述多个主机中的至少一些主机将性能度量和事件的日志拷贝到共享的存储位置；

所述测试框架从所述共享的存储位置读取所述日志。

7.如权利要求1所述的方法，其中接收性能数据、生成测试结果和呈现所述测试结果的步骤是与执行所述测试计划的步骤并发执行的。

8.如权利要求1所述的方法，还包括以下步骤：

在所述多个主机中的一主机处接收利用特定的性能监视工具跟踪一个或多个性能度量的指令；

在执行所述测试计划的同时，利用所述性能监视工具跟踪所述一个或多个性能度量；并且

其中，所述指示出特定时间段的性能统计信息的性能数据包括所述一个或多个性能度量的值。

9.如权利要求1所述的方法，其中，接收性能数据的步骤包括以下步骤：所述测试框架向所述多个主机中的每个主机上的系统嵌入资源监视器请求默认的一组性能数据。

10.如权利要求1所述的方法，其中，所述特定时间段由开始时间和结束时间来定义，其中所述开始时间对应于所述执行主机开始执行所述测试计划的时间，并且所述结束时间对应于所述执行主机完成执行所述测试计划的时间。

11.如权利要求1所述的方法，其中，所述特定时间段由开始时间和结束时间来定义，其中在所述执行主机处执行所述测试计划包括：

执行所述测试计划中的一组初始化步骤；

在执行所述一组初始化步骤之后，执行所述测试计划的使得所述执行主机创建指示出所述开始时间的第一测试反馈的第一步骤；以及

执行所述测试计划的使得所述执行主机创建指示出所述结束时间的第二测试反馈的第二步骤。

12.如权利要求1所述的方法，其中，生成测试结果的步骤包括过滤所述性能数据以仅包括来自第二时间段的性能数据，其中所述第二时间段至少是基于在所述执行主机处执行所述测试来确定的。

13.如权利要求1所述的方法，其中，生成测试结果的步骤包括对来自所述多个主机中的每个主机的性能数据取平均以创建单个数据报告。

14.如权利要求1所述的方法，其中，生成测试结果的步骤包括将所述性能数据与第二性能数据相比较，其中所述第二性能数据是(a)在在所述执行主机上执行所述测试计划的步骤之前生成的和(b)在所述执行主机上执行所述测试计划的同时由所述多个主机生成的。

15.如权利要求1所述的方法，其中，向用户呈现所述测试结果的步骤包括对于所述测试结果中的每个数据报告生成一个或多个视图，所述一个或多个视图至少包括示图和文本日志。