[发明专利]界面逻辑解析方法、装置、设备及可读存储介质

权利要求书

1.一种界面逻辑解析方法，其特征在于，所述界面逻辑解析方法包括：

接收界面图像，并将所述界面图像输入预设界面图像解析器，以对所述界面图像进行解析，获得解析结果，其中，所述解析结果包括区域目标识别结果、区域目标属性检测结果和文字识别检测结果；

将所述区域目标识别结果、所述区域目标属性检测结果和所述文字识别检测结果进行合并，获得界面元素识别检测结果；

基于预设元素动作库，为所述界面元素识别检测结果对应的各个界面元素配置可执行动作，以基于各个所述界面元素对应的可执行动作，建立所述界面元素逻辑关系；

基于所述解析结果，对所述界面图像中各图像元素进行层次划分，获得层次划分结果，其中，所述图像元素包括界面、界面区域以及界面元素；

通过所述层次划分结果确定所述界面与所述界面区域之间的从属关系和所述界面区域与所述界面元素之间的从属关系，以及通过所述界面元素逻辑关系确定所述界面元素之间的逻辑关系，建立界面完整逻辑模型。

2.如权利要求1所述界面逻辑解析方法，其特征在于，所述预设界面图像解析器包括图像分类模型、图像目标和属性检测模型、图像分割模型和文字识别检测模型，所述解析结果包括图像识别结果、界面区域分割结果、区域目标识别结果、区域目标属性检测结果和文字识别检测结果，

所述将所述界面图像输入预设界面图像解析器，以对所述界面图像的界面逻辑关系进行解析，获得解析结果的步骤包括：

将所述界面图像输入所述图像分类模型，以对所述界面图像进行识别和分类，获得所述图像识别结果；

将所述界面图像输入所述图像分割模型，以对所述界面图像进行界面区域分割，获得所述界面区域分割结果；

将进行所述界面区域分割后的所述界面图像输入所述图像目标和属性检测模型，以对所述界面图像中的各界面区域进行目标检测，获得所述区域目标识别结果和所述区域目标属性检测结果；

将进行所述界面区域分割后的所述界面图像输入所述文字识别检测模型，以对各所述界面区域进行文字检测，获得所述文字识别检测结果。

3.如权利要求2所述界面逻辑解析方法，其特征在于，所述将所述界面图像输入所述图像分类模型，以对所述界面图像进行识别和分类，获得所述图像识别结果的步骤包括：

将所述界面图像输入所述图像分类模型，以对所述界面图像进行预设次数的卷积和池化交替处理，获得所述界面图像对应的多个图像分类特征图；

对所述多个图像分类特征图进行全连接，获得图像分类特征向量，并提取所述图像分类特征向量中的所述图像识别结果。

4.如权利要求2所述界面逻辑解析方法，其特征在于，所述将所述界面图像输入所述图像分割模型，以对所述界面图像进行界面区域分割，获得所述界面区域分割结果的步骤包括：

将所述界面图像输入所述图像分割模型，以对所述界面图像进行编码，获得编码结果；

对所述编码结果进行解码，获得所述界面区域分割结果。

5.如权利要求2所述界面逻辑解析方法，其特征在于，所述将进行所述界面区域分割后的所述界面图像输入所述图像目标和属性检测模型，以对所述界面图像中的各界面区域进行目标检测，获得所述区域目标识别结果和所述区域目标属性检测结果的步骤包括：

将进行所述界面区域分割后的所述界面图像输入所述图像目标和属性检测模型，以对所述界面区域中的第一候选区域进行框选，获得所述第一候选区域对应的一个或者多个第一目标框，其中，一所述第一候选区域对应一所述第一目标框；

对各所述第一目标框进行预设次数的卷积和池化交替处理，获得各所述第一目标框对应的多个第一目标框特征图；

对所述多个第一目标框特征图进行全连接，获得各所述第一目标框对应的区域目标特征向量，并提取各所述区域目标特征向量中的区域目标和属性信息，获得所述区域目标识别结果和所述区域目标属性检测结果。