[发明专利]基于边缘技术的界面识别方法

说明书

本发明提供了一种基于边缘技术的界面识别方法，包括以下步骤：S1、使用浏览器访问应用程序界面；S2、抓取所述应用程序界面的UI元素并建立知识库；S3、通过反复学习形成元素识别模型；S4、将所述元素识别模型内置于RPA的执行器中。本发明提供的基于边缘技术的界面识别方法，能够实现RPA平台的本地化图像识别，提升机器人界面识别的效率。

技术领域

本发明涉及图像识别技术领域，具体涉及基于边缘技术的界面识别方法。

背景技术

RPA(Robotic Process Automation)机器人流程自动化，是一种能够模拟人类来执行重复性任务的解决方案。RPA可实现统筹安排、自动化业务处理，并提升业务工作流处理效率。用户只需通过图形方式显示的计算机操作界面对RPA软件进行动态设定即可。借助RPA(Robotic Process Automation)可以提高工作效率、节省成本、大程度降低出錯率、节省时间、并从重复性的后台任务中解放劳动力。RPA机器人已经在银行、保险、证券、电商、物流、财务、人事、IT运维、系统预警等方面具有广泛的应用。

目前，企业为应对内部部分业务在远程桌面或虚拟机等环境执行的情况，需要在RPA平台基础能力上开展基于图像设备技术、界面识别技术的研究。然而，现有的图像识别技术主要采用的模式是集中式识别，终端获取的图像需要传输到服务器识别，部署成本高，识别效率低。

发明内容

为了弥补现有技术中存在的不足，本发明提供了基于边缘技术的界面识别方法，能够实现RPA平台的本地化图像识别，提升机器人界面识别的效率。

为了达到上述目的，本发明采用的技术方案如下：

基于边缘技术的界面识别方法，包括以下步骤：

S1、使用浏览器访问应用程序界面；

S2、抓取所述应用程序界面的UI元素并建立知识库；

S3、通过反复学习形成元素识别模型；

S4、将所述元素识别模型内置于RPA的执行器中。

进一步的，步骤S1中，所述浏览器为Chrome、IE。

进一步的，步骤S2中，UI元素包括输入框、按钮、选择框。

进一步的，步骤S3中，辅以OCR文字识别作为元素锚点和标记。

进一步的，步骤S3中，通过缩放比例、灰度化等参数调整，精简所述元素识别模型的大小。

相对于现有技术，本发明具有以下有益技术效果：

本发明通过机器反复学习形成自有的元素识别模型，然后将该元素识别模型以应用模块的方式内置于RPA的执行器中，能够充分利用执行终端的CPU/GPU资源，实现类边缘技术的识别能力，大大降低了图像识别服务的部署成本，提升机器人界面识别的效率。

附图说明

图1是本发明所述的基于边缘技术的界面识别方法的流程图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于此描述的其他方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

实施例1

基于边缘技术的界面识别方法，包括以下步骤：

S1、使用浏览器访问应用程序界面；浏览器可以为Chrome、IE或其他。

S2、抓取应用程序界面的UI元素并建立知识库；UI元素包括输入框、按钮、选择框或其他。