[发明专利]界面逻辑解析方法、装置、设备及可读存储介质

说明书

本发明公开了一种界面逻辑解析方法、装置、设备和可读存储介质，所述界面逻辑解析方法包括：接收界面图像，并将所述界面图像输入预设界面图像解析器，以对所述界面图像进行解析，获得解析结果，基于所述解析结果，建立界面元素逻辑关系，并获取所述解析结果对应的层次划分结果，基于所述界面元素逻辑关系和所述层次划分结果，建立界面完整逻辑模型。解决了现有技术中界面逻辑解析不准确和不稳定的技术问题。

技术领域

本发明涉及金融科技(Fintech)的神经网络技术领域，尤其涉及一种界面逻辑解析方法、装置、设备及可读存储介质。

背景技术

随着金融科技，尤其是互联网科技金融的不断发展，越来越多的技术(如分布式、区块链Blockchain、人工智能等)应用在金融领域，但金融业也对技术提出了更高的要求，如对金融业对应待办事项的分发也有更高的要求。

随着计算机软件和人工智能的不断发展，界面逻辑解析成为了网页爬取，RPA自动化等涉及计算机软件或“机器人”模拟人与数字系统交互的关键步骤，在现有技术中，对于网页，目前通常通过分析网页脚本获取网页元素的名称属性等信息以进行界面逻辑解析，对于软件，目前通常通过系统接口获取界面上各组件的名称属性等信息以进行界面逻辑解析，但是，当网页脚本接口发生变化或者网页页面显示不稳定时，网页页面逻辑就无法稳定获取，当软件不提供系统接口时，也无法得到准确的界面逻辑，所以，现有技术中存在界面逻辑解析不准确和不稳定的技术问题。

发明内容

本发明的主要目的在于提供一种界面逻辑解析方法、装置、设备和可读存储介质，旨在解决现有技术中界面逻辑解析不准确和不稳定的技术问题。

为实现上述目的，本发明实施例提供一种界面逻辑解析方法，所述界面逻辑解析方法应用于界面逻辑解析设备，所述界面逻辑解析方法包括：

接收界面图像，并将所述界面图像输入预设界面图像解析器，以对所述界面图像进行解析，获得解析结果；

基于所述解析结果，建立界面元素逻辑关系，并获取所述解析结果对应的层次划分结果；

基于所述界面元素逻辑关系和所述层次划分结果，建立界面完整逻辑模型。

可选地，所述解析结果包括区域目标识别结果、区域目标属性检测结果和文字识别检测结果，

所述基于所述解析结果，建立界面元素逻辑关系的步骤包括：

将所述区域目标识别结果、所述区域目标属性检测结果和所述文字识别检测结果进行合并，获得界面元素识别检测结果；

基于预设元素动作库，为所述界面元素识别检测结果对应的各个界面元素配置可执行动作，以基于各个所述界面元素对应的可执行动作，建立所述界面元素逻辑关系。

可选地，所述预设界面图像解析器包括图像分类模型、图像目标和属性检测模型、图像分割模型和文字识别检测模型，所述解析结果包括图像识别结果、界面区域分割结果、区域目标识别结果、区域目标属性检测结果和文字识别检测结果，

所述将所述界面图像输入预设界面图像解析器，以对所述界面图像的界面逻辑关系进行解析，获得解析结果的步骤包括：

将所述界面图像输入所述图像分类模型，以对所述界面图像进行识别和分类，获得所述图像识别结果；

将所述界面图像输入所述图像分割模型，以对所述界面图像进行界面区域分割，获得所述界面区域分割结果；

将进行所述界面区域分割后的所述界面图像输入所述图像目标和属性检测模型，以对所述界面图像中的各界面区域进行目标检测，获得所述区域目标识别结果和所述区域目标属性检测结果；

将进行所述界面区域分割后的所述界面图像输入所述文字识别检测模型，以对各所述界面区域进行文字检测，获得所述文字识别检测结果。