[发明专利]测试方法与系统

说明书

本发明提出了一种新的测试方法和系统，所述方法包括：使用测试用例对目标程序进行测试；保存目标程序发生异常时的测试用例；以及基于保存的测试用例对所述目标程序进行异常复现。本发明的测试方案尤其适用于进行黑盒稳定性测试，并且通过引入测试用例参与异常复现与调试，大幅提升的目标程序的调试效率。

技术领域

本发明涉及测试领域，尤其涉及一种测试方法与系统。

背景技术

随着终端设备，尤其是智能手机的普及，人们越来越多地使用终端设备上安装的各类应用程序(例如，APP)来进行学习、娱乐和信息获取。人们会使用各种各样的终端，在各种各样的环境中使用应用程序，例如，会使用各种手机品牌、机型、操作系统，在不同的地理位置、运营商和网络条件下，对应用程序进行常规、长时间抑或是不合规的操作。

为了提升应用程序对各类状况的适应性，需要对其进行全方位的测试，例如黑盒稳定性测试。现有的黑盒稳定性测试在被测程序出现异常时，通常仅会保存dump(转储)文件。仅通过dump文件来调查异常原因会非常困难。

因此，需要一种能够更为方便准确地定位程序运行异常的测试方法和系统。

发明内容

为了解决上述至少一个问题，本发明提出了一种新的测试方案，其能够对被测应用发生异常时的测试用例进行保存，以方便后续基于上述用例的异常复现与调试。

根据本发明的一个方面，提出了一种测试方法，尤其是一种黑盒稳定性测试方法，包括：使用测试用例对目标程序进行测试；保存目标程序发生异常时的测试用例；以及基于保存的测试用例对所述目标程序进行异常复现。通过引入测试用例参与异常复现与调试，大幅提升的目标程序的调试效率。

优选地，测试方法还可以包括：生成针对所述目标程序的多个测试用例，并且使用测试用例对目标程序进行测试包括：使用所述多个测试用例或其部分以根据测试策略生成模拟用户事件。由此，通过批量测试提升测试效率。

使用测试用例对目标程序进行测试可以包括：连接测试设备；在测试设备中安装所述目标程序；以及在所述测试设备中遍历所述多个测试用例或其一部分以对所述目标程序进行测试。进一步地，可以使用monkeyrunner自动遍历所述多个测试用例或其一部分以对所述目标程序进行测试。由此，适用于针对各类应用场景的程序测试。

本发明的测试方法还可以包括：保存目标程序发生异常时的转储(dump)文件，并且基于保存的测试用例对所述目标程序进行异常复现包括：基于保存的测试用例和dump文件，对所述目标程序发生的异常进行复现。优选地，可以以与所述异常发生时的测试用例能够对应的方式保存所述dump文件。由此，能够为复现和调试提供更多的相关信息。

本发明的测试方法还可以包括：结束所述测试，并且基于保存的测试用例对所述目标程序进行异常复现包括：开始异常复现测试；加载所述保存的测试用例；以及尝试使用所述保存的测试用例复现目标程序的所述异常。由此，通过在不同的任务中执行测试与复现测试，能够提升测试与调试的整体效率。

本发明的测试方法还可以包括：在所述测试开始前进行用户的自定义操作；和/或在所述测试结束后进行用户的自定义操作。由此进一步提升本发明测试方案的适应范围和灵活程度。

根据本发明的另一个方面，提出了一种测试系统，包括：测试模块，所述测试模块具有被调用以进行测试的测试接口，所述测试模块还包括：测试引擎，用于：加载测试用例并使用测试用例对目标程序进行测试；保存目标程序发生异常时的测试用例，所述保存的测试用例用于对所述目标程序进行异常复现。这样，通过专用的测试框架，尤其是专用于黑盒稳定性测试的测试框架来提升测试和调试效率。

本发明的测试系统还可以包括：复现模块，所述复现模块具有被调用以获取所述保存的测试用例进行复现的复现接口，所述复现模块还包括：复现测试引擎，用于：基于所述保存的测试用例对所述目标程序进行异常复现。