[发明专利]一种通用的界面元素自动探测系统

说明书

本发明公开了一种通用的界面元素自动探测系统，所述的通用的界面元素自动探测系统包含可扩展的元素选择器schema、智能录制器和元素探测器，Schema定义了一个树形结构，智能录制器是一个集成的元素录制单元，智能录制器是一个集成的元素录制单元。本系统中元素选择器Schema定义可扩展，适配各种类型的应用自动化技术；智能录制技术，自动选择录制技术录制不同的应用；具有很好的验证体验，验证过程按照节点有序进行，失败后可以轻松定位到节点层级；针对不同类型的应用，不同的自动化技术都可以显示控件树，包括不可见元素和重叠元素，并且支持产生定位选择器。

技术领域

本发明提供一种通用的界面元素自动探测系统，具体涉及各个平台的自动化技术领域。

背景技术

RPA(Robotic Process Automation)，即机器人流程自动化。它是替代人工的一种工作方式，用于解放人力于重复冗杂和有规则的工作流中。实现机器人流程自动化指的是非侵入式的自动化，即采用不同的识别技术来定位目标元素，而非注入代码的形式。

准确定位目标元素是所有RPA产品的核心技术。当前几乎所有RPA产品都通过选择器(Selector)描述目标元素的特征，然后根据这些特征定位目标元素，并在目标元素上完成点击、输入文本等鼠标键盘自动化操作。

不同类型的应用有不同的自动化技术和框架，比如Windows桌面应用有UIA/MSAA，Web应用根据浏览器类型有不同的自动化技术，Java程序有JAB，安卓有Air test/Appium，iOS有WDA/Appium等。并且不同的自动化技术对于元素的查找方式以及对元素的控制各不相同。对于元素的定位，也有多种方式，利用上述的自动化技术获取UI控件树信息，利用控件属性特征集合来唯一定位目标元素；利用图像识别定位目标区域；利用ComputerVision，OCR文本识别的方式来定位目标区域等等。RPA产品中对于元素的录制，定位和编辑体验至关重要，在实际场景中，会有如下问题导致录制定位失败或者定位到错误的控件上：

1)不可见元素，但其实在界面树中确实存在；

2)虽然可见，但是和其他元素位置重合或者被遮挡，自动录制的时候无法指定到期望的控件元素上。

虽然市场上已经有相应的产品来实现各个平台的自动化，但他们的方案却各不相同，体验也不一样，这里汇总一下它们需要改进的地方：

1)选择定义不够清晰，难以阅读；

2)自动化框架支持并不完善，还不能随意切换自动化技术；

3)选择器编辑功能不够丰富，而且内容不方便迁移；

4)不支持图像识别或者录制时候在图像识别和元素识别之前切换不够智能。

发明内容

本发明的目的就是为了解决以上问题，提供一种通用的界面元素自动探测系统，以自动识别不同类型的应用，多种自动化技术的元素自动探测技术，能够智能切换自动化技术，展示详细的控件树，根据用户选择的控件元素自动产生Selector。

为实现上述目的，本发明一种通用的界面元素自动探测系统包含：可扩展的元素选择器schema、智能录制器和元素探测器，Schema定义了一个树形结构，智能录制器是一个集成的元素录制单元，智能录制器是一个集成的元素录制单元。

元素选择器schema第一层ApplicationMetaDataType包含应用当前进程相关信息，进程名ProcessName，进程运行参数Parameters，程序文件路径FilePathChildControls包含目标元素各层级定位信息，包含窗口信息，父节点信息和自身信息；