[发明专利]一种分布式自动化软件测试方法及系统

说明书

本发明公开了一种分布式自动化软件测试方法及系统。本方法为：1)服务器端加载软件测试任务列表和各客户端的配置文件；检查各客户端的状态，建立一客户端状态表；选取具有相同功能的两待测算法A、B；2)各客户端根据算法A进行环境部署；服务器端从该软件测试任务列表中选取未执行的测试任务，并将其发送给选取的客户端；3)客户端执行收到的测试任务并将测试结果发送给服务器端；4)客户端根据算法B更新环境部署，重复步骤1)～3)；5)服务器端判断各测试任务对应的两测试结果是否发生变化；对于出现性能退化的测试任务，基于二分法进行测试，最终自动定位出导致被测模块性能退化的补丁。本发明便于开发人员对相应问题进行分析解决。

技术领域

本发明属于计算机软件技术领域；涉及一次在多台计算机上进行软件测试的情景，提出了一种分布式自动化软件测试方法及系统。

背景技术

软件测试(或者叫软件检测)是用来鉴定软件的正确性、完整性、安全性和质量的过程。软件测试是一种实际输出与预期输出间的审核或者比较过程，目的是为了在规定的条件下对程序进行操作，以发现程序错误，衡量软件质量，并对其是否能满足设计要求进行评估的过程。软件测试伴随着软件的产生而产生，早期由软件开发人员自己负责完成，现在有专门的测试人员完成。

目前大型软件的功能越来越复杂，相对应的测试工作也越来越复杂和繁重。在实际的测试工作中，经常会有针对某一软件进行多次不同的测试的需求，比如针对Linux内核的性能测试，会覆盖内核核心组件(内存、I/O子系统、进程调度、文件系统、网络等)，需要对相关核心组件的性能进行测试，涉及到的不同模块有数十个，每个模块又有数十个甚至上百个测试点，最后涉及到的测试用例会有几百个或者上千个。

软件测试主流的方法是人工手动进行一一测试，并对测试结果进行记录。通常在设计了测试用例并通过评审之后，由测试人员根据测试用例中描述的规程一步步执行测试，得到实际结果与期望结果的比较。手动测试的优点在于人可以对测试用例的结果进行合理的处理和应对，尤其是当测试结果不可预测的时候，但缺点也很明显----效率比较低下，在此过程中，为了节省人力、时间或硬件资源，提高测试效率，便引入了自动化测试的概念。

软件自动化测试是将以人为驱动的测试行为转化为机器执行的一种过程。软件自动化测试研究领域主要集中在软件测试流程的自动化管理以及动态测试的自动化(如单元测试、功能测试以及性能方面)。在这两个领域与手工测试相比，测试自动化的优势是明显的。首先自动化测试可以提高测试效率，使测试人员更加专注于新的测试模块的建立和开发，从而提高测试覆盖率；其次，自动化测试更便于测试资产的数字化管理，使得测试资产在整个测试生命周期内可以得到复用，这个特点在功能测试和回归测试中尤其具有意义；此外，测试流程自动化管理可以使机构的测试活动开展更加过程化。SilkTest就是一个传统的自动化测试软件，该软件可以测试java或者C/S结构的测试场景，非常的高效和灵活，但是和传统的自动化测试软件一样，该软件仅适合执行一次测试用例的场景，对于需要执行两次测试用例并对两次的测试结果进行自动化分析的场景并不适用。但是在实际工作中，经常有两次测试并对比的场景，比如实现了一个新的CPU调度算法，为了检验新算法的有效性，需要首先基于默认的CPU调度算法进行测试获取其性能指标，然后更换新的CPU调度算法后再次测试并获取相关数据，然后对前后两次的数据进行对比。传统的自动化软件测试并不支持这种场景。

发明内容

针对现有技术中存在的技术问题，本发明的目的在于提供一种分布式自动化软件测试方法及系统。该系统可以通过服务器将测试任务(测试任务是每次分配的最小单元，一个测试任务可以包含多个测试用例)自动化的分发给不同的客户端计算机去运行，测试完成后将测试结果统一到服务器管理，然后根据需求自动向客户端计算机发布环境更新任务并随后发起第二次测试任务，并统一收集管理第二次的测试结果。当两次测试工作结束后，会自动的对两次的测试结果进行对比分析，并输出分析结果。

本发明的分布式自动化软件测试系统，其技术方案如下。