[发明专利]一种RPA元素智能融合拾取的方法与系统

权利要求书

1.一种RPA元素智能融合拾取的方法，其特征在于，包括以下步骤：

采用基于深度神经网络的目标检测和OCR识别技术提供CV元素拾取方式，通过分别调用基于操作系统指令、网页结构解析和软件代码解析的传统元素拾取和CV元素拾取两种元素拾取方式对用户所要操作的软件界面进行预先解析，获取到比较全面的界面元素信息，汇总并暂存两种元素拾取方式获得的界面元素信息，再根据用户的鼠标移动或点击动作，匹配到指定位置内的元素；

根据用户指定位置匹配到的元素，获取对应的两种元素拾取方式获得的界面元素信息进行比对，当比对结果出现不一致则停止比对，选择最优的元素拾取方式；当比对结果均一致则随机选择一种元素拾取方式，而后根据比对结果自动切换所选择的元素拾取方式，并将自动切换完成的元素拾取方式获取到的界面元素信息进行输出；

在元素拾取方式的选择和切换的同时，获取暂存的两种元素拾取方式获得的界面元素信息，首先根据界面元素信息中各个元素的位置坐标关系构建元素拓扑结构图，还原各个元素在软件界面上的真实位置关系，再结合构建的元素拓扑结构图进行层次关系分析以还原元素之间的层次关系，并构造出代表软件界面整体结构的数据结构体，同时基于表格识别技术对软件界面中的表格信息以行列坐标的关系抽取，利用NLP技术对表单页面中的键值对关键词进行映射，最终将解析得到的结构体进行输出。

2.根据权利要求1所述的一种RPA元素智能融合拾取的方法，其特征在于，所述CV元素拾取方式包括图标元素的检测和文字元素的检测，在检测完成后，根据各个元素的交并比关系进行检测框合并，合并后的检测框结合检测框对应元素的类型一并作为界面元素信息进行返回。

3.根据权利要求2所述的一种RPA元素智能融合拾取的方法，其特征在于，所述交并比简称IOU，IOU的计算公式为：

；

其中计算公式中的A和B为两个检测框，上述公式右侧的分子分母分别计算两个检测框的交集面积和并集面积。

4.根据权利要求1所述的一种RPA元素智能融合拾取的方法，其特征在于，界面元素信息的比对具体通过依次对元素粒度、元素置信度、元素属性方面进行，最终选择最优的元素拾取方式，包括以下步骤：

比对传统元素拾取和CV元素拾取两种元素拾取方式拾取到的元素的粒度，此处所指粒度含义是从元素层次关系看所能操作的更小范围和更精细的区域，选择能够拾取到更细粒度元素的元素拾取方式；

若两种元素拾取方式拾取到的粒度一致，则比对两种元素拾取方式对所定位到元素的置信度，针对CV元素拾取方式表示的是图标或文字检测的置信度，对于传统元素拾取表示其非窗体的概率，选择定位元素置信度更高的元素拾取方式；

若两种元素拾取方式的置信度也一致，则比对其所包含属性的数量，此处属性包含坐标、类型、层次、索引各种元素属性，选择包含属性更多的元素拾取方式；

最后若属性个数也一样，则随机选择一种元素拾取方式作为具体操作该元素的拾取方式。

5.一种RPA元素智能融合拾取的系统，用于执行如权利要求1所述的RPA元素智能融合拾取的方法，其特征在于，包括：

预拾取模块，结合传统元素拾取和CV元素拾取两种元素拾取方式对用户所要操作的软件界面进行预先解析，获取到比较全面的界面元素信息，汇总并暂存两种元素拾取方式获得的界面元素信息，再根据用户的鼠标移动或点击动作，匹配到指定位置内的元素；

拾取方式自动选择模块，根据传统元素拾取和CV元素拾取获得的元素的详细情况进行比对，从元素的粒度、拾取的精准度角度出发，选择能更精准定位到元素的元素拾取方式，而后根据比对结果自动切换对应选择的元素拾取方式，并将该元素拾取方式获取到的界面元素信息进行输出；

界面元素内容解析模块，在拾取方式自动选择模块进行拾取方式的选择和切换的同时，界面元素内容解析模块根据暂存的预拾取的所有元素信息进行界面内容的重构和解析，构造出代表软件界面整体结构的数据结构体。

6.根据权利要求5所述的一种RPA元素智能融合拾取的系统，其特征在于，系统还包括组件展示界面，用于展示构造的数据结构体和所要拾取的元素的相关信息。