[发明专利]基于图像的应用自动化

权利要求书

1.一种处理器可读介质，存储表示指令的代码，当所述指令在处理器被执行时使得处理器：

在第一时间确定，来自与输入事件相关联的多个图像中的第一图像不满足图形用户界面的任何部分；

独立于用户输入，在第一时间之后的第二时间从所述多个图像中选择第二图像；

识别该第二图像所满足的图形用户界面的一部分；以及

独立于用户输入，在该图形用户界面的该部分处执行该输入事件。

2.如权利要求1的处理器可读介质，其中该第一图像在该第一时间被指定作为该输入事件的目标，该处理器可读介质进一步包括表示指令的代码，当所述指令在该处理器被执行时使得该处理器：

在该第二时间之后，将该第二图像指定作为该输入事件的目标。

3.如权利要求1的处理器可读介质，进一步包括表示指令的代码，当所述指令在该处理器被执行时使得该处理器：

在该第一时间之前确定该第一图像是该输入事件的目标。

4.如权利要求1的处理器可读介质，其中所述多个图像、该输入事件、以及该输入事件的目标在存储于该处理器可访问的存储器的自动化动作中被标识。

5.如权利要求1的处理器可读介质，其中所述多个图像、该输入事件、以及该输入事件的目标在自动化动作中被标识，该处理器可读介质进一步包括表示指令的代码，当所述指令在该处理器被执行时使得该处理器：

修改该自动化动作使得该第二图像为该输入事件的目标。

6.如权利要求1的处理器可读介质，其中：

该第一图像包括处于第一状态的图形用户界面元素；以及

该第二图像包括处于第二状态的该图形用户界面元素。

7.一种基于图像的应用自动化系统，包括：

选择模块，访问来自与输入事件相关联的多个图像中的图像；

分析模块，确定该图像是否满足图形用户界面的一部分；以及

事件模块，在该图像满足该图形用户界面的一部分的情况下在图形用户界面的该部分处执行该输入事件。

8.如权利要求7的系统，其中：

来自所述多个图像中的该图像是第一图像；

该选择模块被配置为，独立于用户输入，在该分析模块确定该第一图像不满足该图形用户界面的一部分的情况下，访问来自所述多个图像中的第二图像；

该分析模块被配置为确定该第二图像满足该图形用户界面的一部分；并且

该事件模块被配置为，在该第二图像所满足的该图形用户界面的该部分处执行该输入事件。

9.如权利要求7的系统，其中：

来自所述多个图像中的该图像是第一图像；

该选择模块响应于确定该第一图像是该输入事件的目标而访问该第一图像；

该选择模块被配置为，独立于用户输入，在该分析模块确定该第一图像不满足该图形用户界面的一部分的情况下，访问来自所述多个图像中的第二图像；

该分析模块被配置为确定该第二图像满足该图形用户界面的一部分；并且

该事件模块被配置为在该第二图像所满足的该图形用户界面的该部分处执行该输入事件。

10.如权利要求7的系统，其中：

来自所述多个图像中的该图像是第一图像；

该选择模块响应于确定该第一图像被指定作为该输入事件的目标而访问该第一图像；

该选择模块被配置为，独立于用户输入，在该分析模块确定该第一图像不满足该图形用户界面的一部分的情况下，访问来自所述多个图像中的第二图像并将该第二图像指定作为该输入事件的目标；

该分析模块被配置为确定该第二图像满足该图形用户界面的一部分；并且

该事件模块被配置为在该第二图像所满足的该图形用户界面的该部分处执行该输入事件。

11.一种处理器可读介质，存储表示指令的代码，当所述指令在处理器被执行时使得处理器：

识别来自与输入事件相关联的多个图像中的第一图像，该第一图像被指定为该输入事件的目标；

确定该第一图像不满足图形用户界面的任何部分；

确定来自所述多个图像中的第二图像满足该图形用户界面的一部分；以及

独立于用户输入，将该第二图像指定作为该输入事件的目标。