[发明专利]一种基于滑动窗口和控件信息的移动应用控件采样方法

权利要求书

1.一种基于滑动窗口和控件信息的移动应用控件采样方法，其特征在于，包括以下步骤：

S1：开启手机操作系统自带的屏幕阅读器，开启后通过设备控制模块使得移动应用页面上的控件先后被聚焦；

S2：移动应用页面上的控件被聚焦时，获取当前被聚焦的控件信息；

S3：将收集到控件信息发送给采样处理模块，采样处理模块将收到的控件信息按时间加入到时序队列中，设备控制模块将使得移动应用页面上的下一个控件被聚焦，直到页面上所有的控件都被聚焦过或者达到最大的聚焦控件数或者达到其他停止条件；

S4：采样处理模块将以递增的窗口大小扫描控件信息的时序队列，记录下高度相似的窗口，窗口所包含的控件将被标记为“丢弃”；

S5：当整个页面的控件遍历完成或达到最大的聚焦控件数或者达到其他停止条件时，分别点击之前未被标记为“丢弃”的控件，至此移动应用页面的控件采样完成。

2.根据权利要求1所述基于滑动窗口和控件信息的移动应用控件采样方法，其特征在于，步骤S1中，针对Android，屏幕阅读器选用Talkback，设备控制模块利用系统的无障碍服务；针对iOS，屏幕阅读器选用VoiceOver，设备控制模块选用模拟蓝牙键盘控制；设备控制模块能够实现的控制包括聚焦上/下一个控件、返回、点击进入控件。

3.根据权利要求1所述基于滑动窗口和控件信息的移动应用控件采样方法，其特征在于，步骤S2包括：

S21：对于Android移动应用，通过系统的无障碍服务获取当前被聚焦的控件信息，包括位置、大小、控件标签类型、文本；

S22：对于iOS移动应用，对当前手机画面截图并利用计算机视觉的技术手段获取当前被聚焦的控件信息，包括位置、大小、文本。

4.根据权利要求1所述基于滑动窗口和控件信息的移动应用控件采样方法，其特征在于，步骤S22中，利用计算机视觉算法识别iOS移动应用聚焦控件信息，包括：

先在iOS的“辅助功能→显示与文字大小”中开启“智能反转”、“降低白点值”、“增强对比度”、“降低透明度”，并且在“辅助功能→旁白”中开启“大光标”，以此增强聚焦框的识别效果；在“辅助功能→旁白”中开启“字幕面板”，以此来显示控件的辅助文本；截取手机画面后，利用计算机视觉算法分别识别出聚焦框的位置、大小和辅助文本内容。

5.根据权利要求1所述基于滑动窗口和控件信息的移动应用控件采样方法，其特征在于，步骤S4包括：

先将第一个控件设为“丢弃”，设置初始窗口大小；从队尾第一个控件信息开始以当前的窗口大小取“当前窗口”，然后开始从时序队列的队尾的第二个控件信息开始以当前窗口大小取“比较窗口”往前扫描，直到将队首第一个控件信息纳入“比较窗口”；将“当前窗口”内的各个控件信息和“比较窗口”内的各个控件信息依次计算相似度，相似度大于或等于阈值，就认为两个控件是高度相似的；若两个窗口的各个对应的控件信息都是高度相似的，那么认为这两个窗口是高度相似的，将“当前窗口”所包含的控件标记为“丢弃”；其中“当前窗口”和“比较窗口”大小从初始窗口大小开始递增，直到等于预设的最大窗口大小。

6.根据权利要求5所述基于滑动窗口和控件信息的移动应用控件采样方法，其特征在于，将标记为“丢弃”的窗口保存起来，优先将“当前窗口”和已标记为“丢弃”的窗口比较。

7.根据权利要求5所述基于滑动窗口和控件信息的移动应用控件采样方法，其特征在于，初始窗口大小设置为2。