[发明专利]基于图像的应用自动化

说明书

背景技术

一些基于图像的应用(或软件)自动化系统包括记录阶段和重放阶段。在记录阶段，基于图像的应用自动化系统记录用于将在重放阶段期间被自动化的应用的动作。例如，基于图像的应用自动化系统在用户图形界面检测输入事件，并且响应于每个输入事件而捕捉图形用户界面的图像。经常地，基于图像的应用自动化系统然后会定义用于每个输入事件的自动化动作，该自动化动作指定用于该输入事件的图像，并且在记录阶段期间定义的自动化动作被存储在脚本文件内。

在重放阶段期间，基于图像的应用自动化系统执行在记录阶段期间所记录的动作。例如，基于图像的应用自动化系统能识别脚本文件内的自动化动作并且重放在自动化动作中指定的输入事件。这就是说，对于每个自动化动作，基于图像的应用自动化系统识别与该自动化动作中所指定的图像相匹配的应用的图形用户界面的一部分，并且在该应用的该部分处执行输入事件。

附图说明

图1是根据一种实施方式的执行输入事件的过程的流程图。

图2是根据一种实施方式的将一组图像与输入事件相关联的过程的流程图。

图3A是根据一种实施方式的具有处于第一状态的图形用户界面元素的图形用户界面的一部分的图示。

图3B是根据一种实施方式的具有处于第二状态的图形用户界面元素的图3A的图形用户界面的该部分的图示。

图3C是根据一种实施方式的具有处于第三状态的图形用户界面元素的图3A及3B的图形用户界面的该部分的图示。

图4A是根据一种实施方式的包括图3A的图形用户界面元素的图像的图示。

图4B是根据一种实施方式的包括图3B的图形用户界面元素的图像的图示。

图4C是根据一种实施方式的包括图3C的图形用户界面元素的图像的图示。

图5是根据一种实施方式的自动化动作的图示。

图6是根据一种实施方式的将图像指定为输入事件的目标的过程的流程图。

图7是根据一种实施方式的基于图像的应用自动化系统的示意框图。

图8是根据一种实施方式的托管(host)基于图像的应用自动化系统的计算设备的示意框图。

具体实施方式

当基于图像的应用(或软件)自动化系统不能将与输入事件相关的图像与图形用户界面的一部分匹配时，这样的系统会遭受失败。例如，输入事件可以与具有多个状态(例如，视觉外观)的图形用户界面元素相关(或在其处被执行)。作为具体示例，该输入事件可以与按键控件相关，该按键控件具有当光标(例如，鼠标指针)没有悬停在该按键控件之上时的第一外观，以及当光标悬停在该按键控件之上时的第二外观。相应地，响应于诸如在该按键控件处的鼠标按键按下输入事件之类的输入事件而被捕捉的按键控件的图像将包括：处于第二视觉外观(或状态)的按键控件，这是因为当鼠标按键按下输入事件在该按键控件处执行时，鼠标指针悬停在该按键控件之上。

然而，在重放阶段期间，当基于图像的应用自动化系统试图在该按键控件处重放包括鼠标按键按下输入事件(例如，重放在自动化动作中指定的鼠标按键按下输入事件)的自动化动作时，鼠标指针可能不在按键控件之上悬停。作为结果，该按键控件是处于第一视觉外观，但是鼠标按键按下输入事件的图像包括处于第二视觉外观的该按键控件。因此，基于图像的应用自动化系统将很可能无法将该图像与该按键控件匹配，并且重放阶段对于该自动化动作而言将会失败。

在此讨论的实施方式确定图形用户界面不包括与输入事件相关联的一个图像所满足的部分，并且自动地(即，独立于来自用户的输入)确定是否该用户图形界面包括与该输入事件相关联的另一个图像所满足的部分。

例如，一组图像中的每一个图像可包括图形用户界面元素，在该图形用户界面元素处，处于多种状态中的一种状态的基于图像的应用自动化系统的重放阶段期间，输入事件将被执行。图像中的一个能够被指定为输入事件的目标。如果，在重放阶段期间，被指定为目标的图像不满足图形用户界面的任何部分，则能够从该组图像中选择不同的图像。如果该图像满足图形用户界面的一部分，则该输入事件可在图形用户界面的该部分处被重放。在一些实施方式中，该图像还可被指定为输入事件的目标。如果该图像不满足图形用户界面的任何部分，则来自该组图像的又另一个图像能够被选择。该过程可被重复直至满足(或匹配)图形用户界面的一部分的图像被找到，或者该组图像中的所有图像都已经被选择。