[发明专利]一种基于滑动窗口和控件信息的移动应用控件采样方法

说明书

本发明公开了一种基于滑动窗口和控件信息的移动应用控件采样方法，分别通过手机操作系统本身的功能特性和外部的计算机视觉手段来获取移动应用控件的结构信息，使用滑动窗口的方法从控件信息的时序流中挖掘相似的模式，以此达到对控件进行采样的目的，后续对页面的控件进行点击遍历时，将跳过高相似度的控件组。对于安卓系统，本发明利用其系统级的无障碍服务和talkback功能获取每个控件的位置、大小、控件标签类型、文本等；对于iOS系统，本发明利用计算机视觉技术对iOS系统自带的VoiceOver功能产生的聚焦框和辅助文本进行识别，从而得到被聚焦控件的大小、位置、文本信息。

技术领域

本发明属于移动应用自动化检测领域，尤其涉及一种基于滑动窗口和控件信息的移动应用控件采样方法。

背景技术

随着互联网的迅猛发展，各种各样的网页和移动端应用的数量爆发式增长。巨大的用户群体和各种各样的移动应用，也对移动应用自动化检测领域发起新的挑战。

目前，有较多的对移动应用进行自动化遍历的方法，它们设计了基于广度优先搜索或深度有线搜索的策略，有的预先的对先源码分析得出页面关系，有的基于页面之间的拓扑关系和页面相似度进行剪枝，但是在控件的采样方法方面却十分欠缺。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于滑动窗口和控件信息的移动应用控件采样方法。

本发明的目的是通过以下技术方案来实现的：一种基于滑动窗口和控件信息的移动应用控件采样方法，包括以下步骤：

S1：开启手机操作系统自带的屏幕阅读器，开启后通过设备控制模块使得移动应用页面上的控件先后被聚焦；

S2：移动应用页面上的控件被聚焦时，获取当前被聚焦的控件信息；

S3：将收集到控件信息发送给采样处理模块，采样处理模块将收到的控件信息按时间加入到时序队列中，设备控制模块将使得移动应用页面上的下一个控件被聚焦，直到页面上所有的控件都被聚焦过或者达到最大的聚焦控件数或者达到其他停止条件；

S4：采样处理模块将以递增的窗口大小扫描控件信息的时序队列，记录下高度相似的窗口，窗口所包含的控件将被标记为“丢弃”；

S5：当整个页面的控件遍历完成或达到最大的聚焦控件数或者达到其他停止条件时，分别点击之前未被标记为“丢弃”的控件，至此移动应用页面的控件采样完成。

进一步地，步骤S1中，针对Android，屏幕阅读器选用Talkback，设备控制模块利用系统的无障碍服务；针对iOS，屏幕阅读器选用VoiceOver，设备控制模块选用模拟蓝牙键盘控制；设备控制模块能够实现的控制包括聚焦上/下一个控件、返回、点击进入控件。

进一步地，步骤S2包括：

S21：对于Android移动应用，通过系统的无障碍服务获取当前被聚焦的控件信息，包括位置、大小、控件标签类型、文本；

S22：对于iOS移动应用，对当前手机画面截图并利用计算机视觉的技术手段获取当前被聚焦的控件信息，包括位置、大小、文本。

进一步地，步骤S22中，利用计算机视觉算法识别iOS移动应用聚焦控件信息，包括：

先在iOS的“辅助功能→显示与文字大小”中开启“智能反转”、“降低白点值”、“增强对比度”、“降低透明度”，并且在“辅助功能→旁白”中开启“大光标”，以此增强聚焦框的识别效果；在“辅助功能→旁白”中开启“字幕面板”，以此来显示控件的辅助文本；截取手机画面后，利用计算机视觉算法分别识别出聚焦框的位置、大小和辅助文本内容。

进一步地，步骤S4包括：