[发明专利]一种用户界面组件检索方法及装置、设备、存储介质

权利要求书

1.一种用户界面组件检索方法，其特征在于，所述方法包括：

至少对输入图像进行图像检测，获得所述输入图像中的用户界面的边框信息；

获得所述用户界面的内容特征信息；

根据所述边框信息和所述内容特征信息，在前端组件库中召回与所述用户界面匹配的目标用户界面组件。

2.根据权利要求1所述的方法，其特征在于，所述边框信息包括第一边框信息和第二边框信息，所述至少对输入图像进行图像检测，获得所述输入图像中的用户界面的边框信息，包括：

对所述输入图像进行图像检测，获得表征所述用户界面中的边框的第一边框信息；

对所述输入图像进行文本检测，获取表征所述用户界面中的文本区域的第二边框信息。

3.根据权利要求1所述的方法，其特征在于，所述内容特征信息包括：文本特征信息，所述获得所述用户界面的内容特征信息，包括：

对所述输入图像进行文本检测，确定所述输入图像中包括文本内容的文本区域；

对所述文本区域进行文本识别，获得所述用户界面的文本内容；

对所述文本内容进行分析，确定所述文本特征信息。

4.根据权利要求1所述的方法，其特征在于，所述内容特征信息包括：图像特征信息，所述获得所述用户界面的内容特征信息，包括：

确定所述输入图像的特征区域；

对所述特征区域的图像内容进行识别，得到所述图像特征信息。

5.根据权利要求1所述的方法，其特征在于，在根据所述边框信息和所述内容特征信息，在前端组件库中召回与所述用户界面匹配的目标用户界面组件之前，所述方法还包括：

确定所述边框信息表征的至少两个边框中的第一边框与第二边框的重叠度；所述第一边框为所述至少两个边框中任一边框，所述第二边框为所述至少两个边框中除所述第一边框外的任一边框；

根据所述第一边框与所述第二边框的重叠度，确定所述至少两个边框中无效边框；

将所述无效边框从所述至少两个边框中删除；根据删除所述无效边框的至少两个边框对所述边框信息进行更新。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述根据所述边框信息和所述内容特征信息，在前端组件库中召回与所述用户界面匹配的目标用户界面组件，包括：

至少根据所述边框信息和所述内容特征信息，在所述前端组件库中召回与所述用户界面匹配的至少两个候选用户界面组件；

根据所述至少两个候选用户界面组件中每一所述候选用户界面组件的组件参数，从所述至少两个候选用户界面组件中，确定所述目标用户界面组件。

7.根据权利要求6所述的方法，其特征在于，所述至少根据所述边框信息和所述内容特征信息，在所述前端组件库中召回与所述用户界面匹配的至少两个候选用户界面组件，包括：

根据所述边框信息，在所述前端组件库中召回与所述用户界面匹配的第一候选用户界面组件；

根据所述内容特征信息，在所述前端组件库中召回与所述用户界面匹配的第二候选用户界面组件；

在所述前端组件库中召回通用组件；所述第一候选组件、所述第二候选用户界面组件和所述通用组件，构成所述至少两个候选组件。

8.根据权利要求6所述的方法，其特征在于，所述根据所述至少两个候选用户界面组件中每一候选用户界面组件的组件参数，从所述至少两个候选用户界面组件中，确定所述目标用户界面组件，包括：

根据所述至少两个候选用户界面组件中每一所述候选用户界面组件的组件参数，对所述至少两个候选用户界面组件进行排序，得到排序结果；

根据所述排序结果，从所述至少两个候选用户界面组件中，确定所述目标用户界面组件。