[发明专利]页面元素定位方法、页面测试方法及相关装置

说明书

本发明实施例公开了一种页面元素定位方法、页面测试方法及相关装置，包括：获取指定机型显示的待测试页面中目标页面元素的第一模板图像；对第一模板图像缩放得到在测试机型上用于对待测试页面中的目标页面元素进行定位的第二模板图像；获取测试机型显示的待测试页面的第一页面图像；对第一页面图像进行缩放得到多个不同尺寸的第二页面图像；基于第二模板图像对第二页面图像中的目标页面元素进行定位，得到目标页面元素在第一页面图像中的定位信息。本发明实施例中指定机型上获得的模板图像可以用于其他测试机型，模板图像可以和多个第二页面图像匹配，实现跨机型定位页面元素，解决了模板匹配算法不可抗缩放的缺陷，提高了模板匹配算法的鲁棒性。

技术领域

本发明实施例涉及页面测试技术领域，尤其涉及一种页面元素定位方法、页面元素定位装置、页面测试方法、页面测试装置、设备和存储介质。

背景技术

在开发应用程序的过程中，需要对应用程序UI界面上的各个页面元素(控件)进行测试，而在测试过程中，UI界面上的页面元素定位为测试的基础，在定位了页面元素后才能对页面元素进行相关的测试操作以对UI界面进行测试。

在移动终端上对应用程序UI界面上的页面元素进行测试时，现有技术中，UI界面上页面元素的识别和定位主要包括以下三种方式：

(1)基于页面xml结构识别和定位页面元素，主要是通过页面的层级路径来索引UI页面元素，即xpath定位。然而，当页面复杂时，xpath定位的索引路径长，搜索效率下降；再者，页面层级容易受到页面技术优化的影响导致xml结构发生变化，从而使得原有的xpath路径失效，需要重新修改测试脚本以保证测试能够正常运转。

(2)基于模板匹配算法识别和定位页面元素，即通过在页面中截取页面元素的图像作为模板图像，通过模板匹配算法从测试页面中识别出与模板图像匹配的区域来识别和定位页面元素，但是模板匹配算法具有不抗缩放的缺陷，无法将某个机型截取的模板图像应用于其他机型显示的待测试页面中，如果每个机型单独生成一个专有的模板图像又增加了复杂性和维护成本。

(3)基于神经网络的识别和定位页面元素，该方法需要大量的训练样本进行模型训练，因此需要进行大量的样本标注标签，在页面元素众多的情况下，需要耗费大量的标注成本。

综上所述，现有页面测试中页面元素定位存在定位效率低、无法跨机型定位以及需要进行大量样本标注的问题。

发明内容

本发明实施例提供一种页面元素定位方法、页面测试方法、页面元素定位装置、页面测试装置、设备和存储介质，以解决现有技术中页面测试中页面元素定位存在定位效率低、无法跨机型定位以及需要进行大量样本标注的问题。

第一方面，本发明实施例提供了一种页面元素定位方法，包括：

获取指定机型显示的待测试页面中目标页面元素的第一模板图像；

对所述第一模板图像进行图像缩放得到在测试机型上用于对所述待测试页面中的所述目标页面元素进行定位的第二模板图像；

获取所述测试机型显示的所述待测试页面的第一页面图像；

对所述第一页面图像进行图像缩放得到多个不同尺寸的第二页面图像；

基于所述第二模板图像对多个所述第二页面图像中的所述目标页面元素进行定位，以得到所述目标页面元素在所述第一页面图像中的定位信息。

第二方面，本发明实施例提供了一种页面测试方法，包括：

在测试机型上显示应用程序的待测试页面；

确定所述待测试页面上待测试操作的目标页面元素；

获取所述目标页面元素在所述待测试页面上的定位信息；