[发明专利]使用根据两种或更多种图形元素检测技术的用户接口描述符属性的组合的图形元素检测

权利要求书

1.一种用于检测用户接口(UI)中的图形元素的计算机实现的方法，包括：

由设计器应用接收对要在机器人流程自动化(RPA)工作流中被配置的活动的选择；

由所述设计器应用接收对以下各项的选择和/或修改：多种图形元素检测技术中的一种或多种图形元素检测技术、所述图形元素检测技术的一个或多个UI描述符属性、或者上述的组合；以及

由所述设计器应用基于所接收到的所述选择和/或修改来配置所述活动。

2.根据权利要求1所述的计算机实现的方法，还包括：

由所述设计器应用自动配置所述图形元素检测技术中的一种或多种图形元素检测技术、所述UI描述符属性中的一个或多个UI描述符属性、或者两者。

3.根据权利要求2所述的计算机实现的方法，其中所述自动配置由所述设计器应用基于以下各项而被执行：由所述活动实现的动作、所述目标图形元素的类型、所述UI中的一个或多个其他图形元素的存在、或者上述的组合。

4.根据权利要求1所述的计算机实现的方法，其中根据权利要求1所述的过程针对至少一个附加活动而被重复。

5.根据权利要求1所述的计算机实现的方法，还包括：

由所述设计器应用生成RPA机器人，所述RPA机器人被配置为实现所配置的所述活动。

6.根据权利要求5所述的计算机实现的方法，其中所述RPA机器人被配置为将所述UI描述符属性的子集用于所述多种图形元素检测技术中的至少一种图形元素检测技术。

7.根据权利要求5所述的计算机实现的方法，还包括：

由所述RPA机器人在运行时分析UI，以标识UI元素属性；

由所述RPA机器人针对所述活动将所述UI元素属性与所配置的所述UI描述符属性进行比较；并且

当与所述多种图形元素检测技术的所述属性相匹配的UI元素经由精确匹配或阈值匹配而被找到时：

由所述RPA机器人采取与涉及所述UI元素的所述活动相关联的动作。

8.根据权利要求7所述的计算机实现的方法，其中所述UI属性包括图像、文本、所述UI中的图形元素之间的关系、所述UI中的所述图形元素的分层表示、或者上述的组合。

9.根据权利要求7所述的计算机实现的方法，其中根据权利要求7所述的过程针对至少一个附加活动而被重复。

10.根据权利要求1所述的计算机实现的方法，其中所述UI描述符的类型包括以下中的两项或更多项：选择器、计算机视觉(CV)描述符、图像匹配描述符、和光学字符识别(OCR)描述符。

11.一种被体现在非瞬态计算机可读介质上的计算机程序，所述计算机程序被配置为使至少一个处理器：

接收对要在机器人流程自动化(RPA)工作流中被配置的活动的选择；

接收对以下各项的选择和/或修改：多种图形元素检测技术中的一种或多种图形元素检测技术、所述图形元素检测技术的一个或多个UI描述符属性、或者上述的组合；以及

基于所接收到的所述选择和/或修改来配置所述活动。

12.根据权利要求11所述的计算机程序，其中所述计算机程序还被配置为使所述至少一个处理器：

自动配置所述图形元素检测技术中的一种或多种图形元素检测技术、所述UI描述符属性中的一个或多个UI描述符属性、或者两者。

13.根据权利要求12所述的计算机程序，其中所述自动配置基于以下各项而被执行：由所述活动实现的动作、所述目标图形元素的类型、所述UI中的一个或多个其他图形元素的存在、或者上述的组合。

14.根据权利要求11所述的计算机程序，其中根据权利要求11所述的过程针对至少一个附加活动而被重复。