[发明专利]自动化测试管理系统及方法

说明书

技术领域

本发明涉及自动化测试技术，特别涉及针对自动化测试过程中的管理系统及管理方法。

背景技术

目前，大部分自动化测试系统都支持并行运行多个测试进程，每个测试进程对应一个被测模块，在某一个被测模块测试完成之后，自动化平台会收集这个被测模块的测试结果；在传统技术中，当需要统计多个被测模块的自动化测试结果时，测试人员只有等到所有被测模块全部执行完毕后，才能得到所有被测模块的测试结果，并对相关联的多个模块测试结果进行汇总，最终生成需要的多份自动化测试报表；而对于测试失败的分析，则需要人工去分析是自动化测试脚本错误还是被测模块所在系统的错误；因此，传统技术在自动化测试中仍然需要投入较多的人力，测试效率无法得到充分发挥。

发明内容

本发明所要解决的技术问题是：提出一种自动化测试管理系统及方法，对自动化测试过程进行监控管理，减少人力投入，提高测试效率。

本发明解决上述技术问题所采用的方案是：自动化测试管理系统，包括：

分组管理模块，用于对提交到自动化测试平台的多个被测模块按照关联关系进行分组，并创建用于记录所有分组信息的分组临时文件；在接收到测试结果统计模块的通知后，删除分组临时文件中当前所有被测模块全部测试完成的分组；

测试执行模块，用于在分组管理模块创建分组临时文件后，同时启动分组临时文件中各分组的所有被测模块对应的自动化测试进程，并同步通知测试监控模块；

测试监控模块，用于接收测试执行模块的通知后，创建并启动测试监控进程，定时轮询分组临时文件，判断是否存在所有被测模块测试完成的分组，如果有，则通知测试结果统计模块；

测试结果统计模块，用于接收测试监控模块的通知，对当前分组中所有被测模块的测试结果进行汇总，生成相应的汇总统计报表后，通知分组管理模块。

进一步，所述测试监控模块，还用于判断各个分组中的被测模块是否出现测试异常，如果出现测试异常，则通知分组管理模块从分组临时文件的对应分组中删除测试异常的被测模块；所述分组管理模块，还用于删除分组临时文件的对应分组中测试异常的被测模块。

进一步，所述分组信息包括：各个分组的分组名、分组中包含的被测模块对应的自动化测试进程的进程号。

进一步，所述分组管理模块，还用于收到测试监控模块的通知后，对各个分组中的测试完成的被测模块标注完成标记，所述测试监控模块根据被测模块是否存在完成标记来判断该被测模块是否测试完成。

进一步，该管理系统还包括：

错误管理模块，用于对自动化测试过程中被测模块对应自动化测试进程中的测试脚本执行失败的原因进行记录，并区分测试脚本执行失败原因为测试脚本错误或者被测模块错误，如果为被测模块错误，则自动向错误管理平台提交该错误。

进一步，所述错误管理模块包括：

日志记录模块，用于对各个被测模块对应自动化测试进程中的测试脚本执行状况进行记录，如果测试脚本执行失败，则记录具体失败原因，如果测试脚本中的预期结果和实际结果不符合并且调用到了失败接口函数，则除了记录具体失败原因之外，还记录相应的失败代码；

脚本分析模块，用于对日志记录模块的记录项进行分析，区分测试脚本执行失败原因为测试脚本错误或者被测模块错误：如果日志记录项中包含失败代码，则判定测试脚本执行失败原因为被测模块错误，则在结合失败代码对系统错误进行描述后触发错误提交模块；如果日志记录项中未包含失败代码，则判定脚本执行失败原因为脚本错误；

错误提交模块，用于结合错误管理系统提供的内部接口，由自动化平台调用，实现错误的提交。

本发明的另一目的，还在于提出一种自动化测试管理方法，该方法包括以下步骤：

a.分组管理模块对提交到自动化测试平台的多个被测模块按照关联关系进行分组，并创建用于记录所有分组信息的分组临时文件；

b.测试执行模块在分组管理模块创建分组临时文件后，同时启动分组临时文件中各分组的被测模块对应的自动化测试进程，并同步通知测试监控模块；测试监控模块创建并启动测试监控进程；

c.测试监控进程定时轮询分组临时文件，判断是否存在所有被测模块测试完成的分组，如果存在，则进入步骤d，否则返回步骤c；

d.测试结果统计模块对分组中所有被测模块的测试结果进行汇总，生成相应的汇总统计报表；

e.测试结果统计模块判断分组中是否所有的被测模块的测试结果均已汇总并生成相应的汇总统计报表，如果是，则进入步骤f，否则返回步骤d；