[发明专利]一种RPA元素智能融合拾取的方法与系统

说明书

本发明公开了一种RPA元素智能融合拾取的方法与系统，通过将基于深度神经网络的CV元素拾取技术和传统元素拾取技术相结合，并在RPA软件后台根据用户所要操作的软件界面的不同，为用户自动选择更精准、更合适的元素拾取方式（当然也支持用户手动进行拾取方式切换），同时在操作过程中能够实现拾取方式的自动、无感切换。另外，在各个元素实现定位的基础上，提供界面元素的内容解析能力，实现元素的类别、属性、位置、层次等的有序输出，从而支持更多样化的元素操作能力。通过上述功能，可以为用户提供更流畅的使用体验，提高RPA软件可用性和支持范围；并减少用户使用成本，降低用户编辑开发RPA流程的时间。

技术领域

本发明涉及机器人流程自动化技术领域，特别涉及一种RPA元素智能融合拾取的方法与系统。

背景技术

机器人流程自动化技术（Robotic Process Automation，后简称RPA）是一种用于企业规则化、重复性工作替代的有效技术，目前正广泛应用于各行各业的财务、税务、审批、风控、运营、物流、广告等业务中。RPA技术提供了可视化的流程编辑器，开发人员可以在流程编辑器上设计和配置出能够在企业业务系统中自动执行的流程脚本；在脚本执行过程中，则通过模拟键盘、鼠标操作、调用操作系统接口、分析网页结构等手段，来模拟人类的按钮点击、键盘输入、文件创建、网页跳转、逻辑判断等动作。RPA技术的出现，可以将企业人力从大量简单、重复、规则化的工作中解放出来，投入到更具价值的创造性工作中；同时借助RPA技术，不需要对业务系统进行大规模的底层改造，也不需要开发各类系统间数据对接的复杂接口，因而能够在短时间内实现企业业务流程自动化，投入产出比更高。

RPA技术的核心是对计算机软件界面上的各类元素，例如按钮、文字、搜索框、输入框、可操作区域等，进行精确地定位（或叫拾取）和操作，进而完成流程执行所需的点击、跳转、输入、复制、粘贴等动作。传统的RPA元素拾取技术是基于操作系统提供的指令接口，或者基于网页的结构解析来完成的。例如对于一般的网页元素拾取，首先会根据其超文本标记语言（Hyper Text Markup Language，后简称HTML）解析为不同的块、标签或文本，再获取这些元素的位置、内容、索引和层次关系，从而实现各类操作，如点击按钮、点击搜索框并输入文字、移动到某张图片上等。然而在RPA的实际场景中，往往有一些应用软件、远程桌面等，无法通过系统指令或代码解析的方式来定位到元素，比如在遇到远程桌面的场景时，RPA软件所能获取到的仅仅是桌面镜像所呈现的一张图片，在这种情况下就需要采用其他技术来实现元素拾取。当前比较流行的是基于计算机视觉（Computer Vision，后简称CV）技术实现的元素拾取，通过将界面上的各类元素作为图片中的一个个目标，借助CV领域的目标检测技术和光学字符识别（Optical Character Recognition，后简称OCR）技术定位和识别出每个元素的位置和类型，进而支持一系列的移动、点击、输入等操作。

上述两种元素拾取方式相互结合，可以更好地支持不同应用场景下的RPA技术的实施和流程的执行，然而从目前所了解到的情况来看，业界普遍是将两个技术分开使用，需要RPA软件的用户人为选择使用传统拾取技术还是CV拾取技术，或者是在传统拾取技术无法满足要求的情况下，手动切换为CV拾取技术再进行尝试。这种结合和应用的方式，一方面对用户来说不够友好，增加了用户使用RPA软件的难度；另一方面，先尝试传统拾取再使用CV拾取的方式，对于一些传统拾取无法支持的场景来说，每次尝试都增加时间成本，不利于RPA流程的快速开发和部署；并且当前业界对于CV拾取仅仅作为坐标定位使用，限制了其可以支持的范围。

基于上述现有技术存在的问题，本申请方案所要解决的技术问题包括：

1、针对传统元素拾取技术支持的场景有限的问题；

2、针对现有的CV元素拾取技术一般仅用于元素定位，而不能支持更多的元素操作的问题；

3、针对现有的多种拾取方式无法自动切换的问题。

发明内容