[发明专利]图片识别并操作的方法、装置、计算机设备及存储介质

说明书

本发明公开了图片识别并操作的方法、装置、计算机设备及存储介质，其中，方法包括：当接收到需要操作的网页元素的元素信息时，判断所述元素信息中是否包含所述网页元素的元素图片；若包含所述网页元素的元素图片，则截取当前网页为网页图片；查找所述元素图片在所述网页图片上的坐标；基于查找到的坐标，对所述网页上的所述网页元素进行定位，并在定位到所述网页元素后，对相应的网页元素进行自动化测试；该方法利用元素图片在网页图片上进行定位获取坐标，然后通过该坐标对页面上的元素进行定位，可以提高定位效率，简化定位步骤。

技术领域

本发明涉及界面自动化测试领域，尤其涉及图片识别并操作的方法、装置、计算机设备及存储介质。

背景技术

现有技术中，网页界面自动化测试一般是通过编写脚本模拟人工对页面进行操作。编写脚本需要通过元素的路径、名称等信息定位到对应的元素，然后再对元素进行点击或输入等模拟人工的操作，而元素的各种信息的获取，需要通过打开网页源码，查看到该元素的信息才能确定。显然，现有技术执行起来比较繁琐费时，且存在部分元素无法通过上述信息获取。

发明内容

本发明实施例提供了图片识别并操作的方法、装置、计算机设备及存储介质，旨在解决现有技术中元素定位方式繁琐费时等问题。

一种图片识别并操作的方法，其中，包括：

当接收到需要操作的网页元素的元素信息时，判断所述元素信息中是否包含所述网页元素的元素图片；

若包含所述网页元素的元素图片，则截取当前网页为网页图片；

查找所述元素图片在所述网页图片上的坐标；

基于查找到的坐标，对所述网页上的所述网页元素进行定位，并在定位到所述网页元素后，对相应的网页元素进行自动化测试。

优选的，所述自动化测试包括：点击、输入或断言。

优选的，所述查找所述元素图片在所述网页图片上的坐标，包括：

通过opencv在网页图片中查找元素图片的位置；

通过元素图片的大小和元素图片的位置计算出该元素图片在网页图片上的坐标。

优选的，所述通过元素图片的大小和元素图片的位置计算出该元素图片在网页图片上的坐标，包括：

获取元素图片的宽度和长度；

将元素图片的左上角横坐标加上元素图片宽度的一半作为元素图片中心坐标的横坐标；

将元素图片的左上角纵坐标加上元素图片长度的一半作为元素图片中心坐标的纵坐标。

优选的，还包括：

当断言方式是图片断言，并在所述网页图片查找到所述元素图片时，则返回断言成功。

优选的，所述查找所述元素图片在所述网页图片上的坐标，包括：

若在所述网页图片上查找到多个所述元素图片时，则查找所述网页图片上从上至下、从左至右的第一个元素图片的坐标。

优选的，所述通过opencv在网页图片中查找元素图片的位置，包括：

对元素图片与所述网页图片进行匹配识别；

获取所述网页图片中与所述元素图片相似度超过预设阈值的区域；

将所述区域的位置作为元素图片的位置。

本发明实施例还提供一种图片识别并操作的装置，其中，包括：

判断单元，用于当接收到需要操作的网页元素的元素信息时，判断所述元素信息中是否包含所述网页元素的元素图片；