[发明专利]一种基于人工智能的图形用户界面自动化测试方法

说明书

本发明公布了一种基于人工智能的图形用户界面自动化测试方法。一方面使用传统图像处理算法和人工智能深度学习算法，将图形用户界面转换成虚拟定位代码，形成界面元素文字和虚拟定位代码一一映射，并通过操作虚拟定位代码执行界面元素文字相关测试动作，解决跨平台跨框架必须采用不同的图形用户界面自动化测试方法的问题；另一方面依靠人工智能图像和文字识别能力，大幅提升图像识别和文字识别的准确率，解决界面截图使用传统图像处理算法比较相似度准确率不足的问题。

技术领域

本发明涉及软件测试技术领域，尤其是涉及一种基于人工智能的图形用户界面自动化测试方法。

背景技术

软件测试是保证软件质量的重要手段，也是软件开发过程中的一个重要环节。随着软件设计技术的发展，软件应用范围不断扩大，处理的问题也越来越复杂，传统手工测试已经不能满足测试要求，引入自动化测试方法成为更好的选择。

为达到自动化测试的目的，通常情况下对于图形用户界面会采用以下自动化测试方法：

1、基于标准化控件的图形用户界面识别和操作，但是存在跨平台跨框架能力差的缺陷。AutoIt/ Pywinauto能够自如地操作Windows系统标准化控件，但无法操作浏览器页面中的元素； Selenium2能够利用WebDriver API直接操作浏览器页面中的元素，但无法操作Windows或Linux系统标准化控件。

2、基于传统界面截图匹配的图形用户界面识别和操作，但是存在相似度准确率低的缺陷。Sikuli手工截取特定元素，通过图片匹配做对应区域的选取和验证，分辨率或者色差都可能导致图片匹配失败。

发明内容

本发明公布了一种基于人工智能的图形用户界面自动化测试方法，以解决现有自动化测试方法跨平台跨框架能力差、准确率低的问题。

为了克服背景技术中存在的缺陷，本发明解决其技术问题所采用的技术方案是一种基于人工智能的图形用户界面自动化测试方法，主要包含如下步骤：

基于人工智能识别界面元素文字生成定位虚拟代码；

根据定位虚拟代码编写测试用例；

像素点操作模拟用户执行测试用例。

进一步的，基于人工智能识别界面元素文字生成定位虚拟代码包括：通过传统图像处理算法和深度学习算法，进行图像切割、图像分类、界面栏识别、元素识别、文字识别，完成图像的完整识别；通过递归神经网络等算法，生成虚拟定位代码，完成界面元素文字和虚拟定位代码的一一映射关系。

进一步的，根据定位虚拟代码编写测试用例包括：使用基于人工智能识别生成的虚拟定位代码，编写测试用例包含的每一所述测试步骤中的测试操作对应的可执行脚本，完成测试用例自动化脚本编写。

进一步的，像素点操作模拟用户执行测试用例包括：通过界面元素文字和虚拟定位代码的一一映射关系，完成虚拟定位代码到界面元素和文字的定位；通过传统框架或机械臂技术，执行像素点操作，完成用户键鼠操作模拟。

有益效果

本发明公布的一种基于人工智能的图形用户界面自动化测试方法，除传统图像处理算法和人工智能相关算法外，只依赖于图像以及对像素点的操作，对系统框架依赖会比较弱，跨平台跨框架能力比较强；基于人工智能对图像和文字识别能力，测试准确率较传统的图像处理技术准确率大幅提升；编写通过虚拟定位代码编写测试用例采用可见即所得的模型，对于元素文字的定位方式易于理解和脚本开发。

附图说明

图1 为一种基于人工智能的图形用户界面自动化测试方法的方法的总体流程图。

图2 为步骤S1“基于人工智能识别界面元素文字生成定位虚拟代码”的具体实现流程图。

图3 为步骤S2“根据定位虚拟代码编写测试用例”的具体实现流程图。