[发明专利]一种界面元素识别方法及系统

权利要求书

1.一种界面元素识别方法，其特征在于，包括以下步骤：

获取待识别界面的图像数据；

通过视觉模型获取所述图像数据中的控件预测目标，所述视觉模型的获取方法为：在深度迁移学习过程中，对谷歌目标检测模型进行第一改进，并通过样本数据集训练第一改进后的所述谷歌目标检测模型，得到所述视觉模型；

基于预设阈值对所述控件预测目标进行筛选，得到所述识别界面中的控件坐标。

2.根据权利要求1所述的界面元素识别方法，其特征在于，所述在深度迁移学习过程中，对谷歌目标检测模型进行第一改进的方法包括：

将所述谷歌目标检测模型的一个卷积核替换为两个卷积核，并将所激活函数替换换成线性修正激活函数RELU。

3.根据权利要求1所述的界面元素识别方法，其特征在于，所述将所述谷歌目标检测模型的一个卷积核替换为两个卷积核包括：两个卷积核均为3×3，池化层的大小为2×2。

4.根据权利要求1所述的界面元素识别方法，其特征在于，所述通过样本数据集训练第一改进后的所述谷歌目标检测模型，得到所述视觉模型的方法包括：

遍历所述样本数据集的样本图像，通过八邻域算法提取边界，通过改变所述样本图像的亮度、分辨率、旋转度、扭曲和位移，拓展所述样本数据集。

5.根据权利要求1所述的界面元素识别方法，其特征在于，所述在深度迁移学习过程中，对谷歌目标检测模型进行第一改进的方法还包括：

拓展全连接层的规模，在训练过程中随机性移除训练网络的激活值，并通过多个神经网络组合，基于随机森林的方法，投票表决每一个图像对象的分类结果。

6.根据权利要求1所述的界面元素识别方法，其特征在于，还包括：

在深度迁移学习的过程中，根据学习速率，在原参数区间的范围内选取第一区间作为迭代训练的参数区间。

7.一种界面元素识别系统，使用权利要求1至6中任一项的方法，其特征在于，包括：

训练模块，用于在深度迁移学习过程中，对谷歌目标检测模型进行第一改进，并通过样本数据集训练第一改进后的所述谷歌目标检测模型，得到所述视觉模型；

识别模块，用于通过视觉模型获取待识别界面的图像数据中的控件预测目标；

筛选模块，用于基于预设阈值对所述控件预测目标进行筛选，得到所述识别界面中的控件坐标。

8.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至6中任一项的方法。