[发明专利]一种基于图像分析的页面控件异步遍历方法

权利要求书

1.一种基于图像分析的页面控件异步遍历方法，其特征在于，包括以下步骤：

S1：进入页面，移动到第一个控件；

S2：获得目前页面的截图；

S3：生成异步任务，提交给线程池执行；

S4：若移动次数未达到设定的一轮次数且未达到设定的总移动次数，移动到下一个控件，跳转到步骤S2继续执行；

S5：若移动次数达到设定的一轮次数，判断页面是否遍历结束；

S6：若步骤S5判断页面未遍历结束，则移动到下一个控件，跳转到步骤S2继续执行；

S7：若步骤S5判断页面遍历结束或者移动次数达到设定的总移动次数，则页面控件遍历结束。

2.根据权利要求1所述基于图像分析的页面控件异步遍历方法，其特征在于，步骤S2包括：通过usb连接手机和上位机，利用投屏软件将手机画面投射于上位机桌面，然后获取投屏软件的窗口，截取窗口内的手机画面。

3.根据权利要求1所述基于图像分析的页面控件异步遍历方法，其特征在于，步骤S3包括：

S31：一个任务是根据截图，通过计算机视觉算法计算出当前页面控件的坐标；

S32：另一个任务是根据当前页面的字幕，通过OCR算法计算出当前控件的替代文本内容；

S33：将这两个任务提交给线程池异步执行。

4.根据权利要求3所述基于图像分析的页面控件异步遍历方法，其特征在于，步骤S5包括：

S51：等待线程池中的异步任务全部完成；

S52：步骤S51的任务全部完成后，根据所有任务包含的控件信息，顺序生成页面控件；

S53：根据步骤S32生成的控件的替代文本内容，若页面末尾控件的替代文本内容连续相同个数达到设定的最大个数，或者循环相同，就认为页面遍历结束，否则遍历未结束。

5.根据权利要求4所述基于图像分析的页面控件异步遍历方法，其特征在于，步骤S53中设定的最大个数为6个。

6.根据权利要求1所述基于图像分析的页面控件异步遍历方法，其特征在于，步骤S4中设定的一轮次数为20次。

7.根据权利要求1所述基于图像分析的页面控件异步遍历方法，其特征在于，步骤S4中设定的总移动次数为80次。

8.根据权利要求1所述基于图像分析的页面控件异步遍历方法，其特征在于，步骤S4中，移动到下一个控件的方法为：蓝牙连接手机和上位机，模拟键盘操作，发送无障碍辅助程序的“移到下一个项目”指令。