[发明专利]自动确定GUI中待交互的交互式GUI元素的方法和设备

权利要求书

1.一种自动确定图形用户界面GUI中的待交互的交互式GUI元素的计算机实现的方法，所述方法包括：

处理器基于多个算法在所述GUI中检测一个或多个候选交互式GUI元素；

所述处理器为所述一个或多个候选交互式GUI元素中的每个确定似然性指示符，所述似然性指示符指示与该似然性指示符相关联的候选交互式GUI元素是待交互的交互式GUI元素的似然性；以及

所述处理器基于所述似然性指示符从所述一个或多个候选交互式GUI元素中确定待交互的交互式GUI元素。

2.根据权利要求1所述的方法，其中所述多个算法包括以下至少之一：

基于应用编程接口API的算法；

基于熵的算法；以及

基于光学字符识别OCR的算法。

3.根据权利要求2所述的方法，其中所述处理器基于多个算法在所述GUI中检测一个或多个候选交互式GUI元素的步骤包括：

所述处理器通过使用所述GUI的API从所述GUI中的一个或多个交互式GUI元素的每个中提取文本；

所述处理器基于所提取的文本为所述一个或多个交互式GUI元素中的每个确定第一算法特定的似然性；以及

对于所计算的第一算法特定的似然性大于第一算法特定的阈值的每个交互式GUI元素，所述处理器将该交互式GUI元素确定为候选交互式GUI元素。

4.根据权利要求3所述的方法，其中所述处理器基于所提取的文本为所述一个或多个交互式GUI元素中的每个确定第一算法特定的似然性的步骤包括：

所述处理器将所提取的文本与预定义的一组文本中的一个或多个文本进行比较；以及

响应于比较结果指示所提取的文本与一个文本匹配，所述处理器将与所述预定义的一组文本中的该文本相对应的似然性确定为对应的交互式GUI元素的第一算法特定的似然性。

5.根据权利要求3所述的方法，其中所述处理器为所述一个或多个候选交互式GUI元素中的每个确定似然性指示符的步骤包括：

所述处理器通过用第一算法特定的权重对第一算法特定的似然性进行加权来确定所述似然性指示符。

6.根据权利要求2所述的方法，其中所述处理器基于多个算法在所述GUI中检测一个或多个候选交互式GUI元素的步骤包括：

所述处理器通过使用基于OCR的算法在所述GUI中检测一个或多个文本块；

所述处理器为所述一个或多个文本块中的每个基于对应文本块中的文本来计算密度和/或第二算法特定的似然性；以及

对于所述密度大于第二算法特定的阈值和/或所述第二算法特定的似然性大于第一算法特定的阈值的每个文本块，所述处理器将与该文本块关联的交互式GUI元素确定为候选交互式GUI元素。

7.根据权利要求6所述的方法，其中所述处理器为所述一个或多个文本块中的每个基于对应文本块中的文本来计算密度的步骤包括：

所述处理器确定所述对应文本块中的文本中的目标词的数量和所有词的数量；以及

所述处理器通过将所有词的数量除以目标词的数量来计算密度。

8.根据权利要求6所述的方法，其中所述处理器为所述一个或多个候选交互式GUI元素中的每个确定似然性指示符的步骤包括：

所述处理器通过用第二算法特定的权重对第二算法特定的似然性进行加权来确定所述似然性指示符。

9.根据权利要求2所述的方法，其中所述处理器基于多个算法在所述GUI中检测一个或多个候选交互式GUI元素的步骤包括：

所述处理器获取所述GUI对应的GUI图像；

所述处理器将所述GUI图像分割为多个块；

所述处理器通过使用基于熵的算法为所述多个块中的每个块确定熵；以及

对于熵大于第三算法特定的阈值的每个块，所述处理器将与该块相关联的交互式GUI元素确定为候选交互式GUI元素。