[发明专利]一种基于图像分析的页面控件异步遍历方法

说明书

本发明公开了一种基于图像分析的页面控件异步遍历方法，首先进入页面，移动到第一个控件，每次移动到下一个控件，获取页面的截图，然后生成两个异步任务，其一是通过计算机视觉算法获取控件的坐标，其二是通过OCR算法识别字幕获取控件的替代文本内容，将这两个任务提交给线程池执行后，继续移动到下一个控件；每次移动特定次数后，都判断页面控件是否遍历完毕，如果仍未完毕就继续遍历，否则结束遍历。本发明提供了一种异步的、快速的页面控件遍历方法，可作为移动应用测试和数据分析挖掘的上游服务，爬取移动应用的页面控件信息，供后续任务使用。

技术领域

本发明属于计算机技术软件和移动应用测试领域，尤其涉及一种基于图像分析的页面控件异步遍历方法。

背景技术

移动应用的测试与分析，往往需要首先获取移动应用的结构和页面信息。然而移动应用无法如Web端网页那样，可以通过爬虫技术来爬取网页信息。移动应用由于页面结构和信息的敏感性，难以通过传统的工具进行直接解析，而获取移动应用源码则往往带来进一步的安全风险。因此，需要有一种快速、高效、准确的页面控件遍历方法，以便于移动应用的测试和分析。目前，移动应用测试领域存在一些应用页面自动遍历方法，通常利用侵入式的自动化测试工具来进行遍历。主要存在侵入式、速度慢，容易阻塞中断、漏检等缺点。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于图像分析的页面控件异步遍历方法。

本发明的目的是通过以下技术方案来实现的：一种基于图像分析的页面控件异步遍历方法，包括以下步骤：

S1：进入页面，移动到第一个控件；

S2：获得目前页面的截图；

S3：生成异步任务，提交给线程池执行；

S4：若移动次数未达到设定的一轮次数且未达到设定的总移动次数，移动到下一个控件，跳转到步骤S2继续执行；

S5：若移动次数达到设定的一轮次数，判断页面是否遍历结束；

S6：若步骤S5判断页面未遍历结束，则移动到下一个控件，跳转到步骤S2继续执行；

S7：若步骤S5判断页面遍历结束或者移动次数达到设定的总移动次数，则页面控件遍历结束。

进一步地，步骤S2包括：通过usb连接手机和上位机，利用投屏软件将手机画面投射于上位机桌面，然后获取投屏软件的窗口，截取窗口内的手机画面。

进一步地，步骤S3包括：

S31：一个任务是根据截图，通过计算机视觉算法计算出当前页面控件的坐标；

S32：另一个任务是根据当前页面的字幕，通过OCR算法计算出当前控件的替代文本内容；

S33：将这两个任务提交给线程池异步执行。

进一步地，步骤S5包括：

S51：等待线程池中的异步任务全部完成；

S52：步骤S51的任务全部完成后，根据所有任务包含的控件信息，顺序生成页面控件；

S53：根据步骤S32生成的控件的替代文本内容，若页面末尾控件的替代文本内容连续相同个数达到设定的最大个数，或者循环相同，就认为页面遍历结束，否则遍历未结束。

进一步地，步骤S53中设定的最大个数为6个。

进一步地，步骤S4中设定的一轮次数为20次。

进一步地，步骤S4中设定的总移动次数为80次。

进一步地，步骤S4中，移动到下一个控件的方法为：蓝牙连接手机和上位机，模拟键盘操作，发送无障碍辅助程序的“移到下一个项目”指令。