[发明专利]一种移动应用程序GUI智能测试方法及系统

权利要求书

1.一种移动应用程序GUI智能测试方法，其特征在于，所述方法包括：

获取移动应用程序的多个GUI截图；

通过标签工具为各GUI截图打图形元素标签，获得各打图形元素标签的GUI截图；所述图形元素标签包括所述GUI截图上图形元素的边界框定位和类别；

以所述GUI截图为输入，以所述打图形元素标签的GUI截图为输出训练目标检测算法，获得训练完成的目标检测模型；

获取人工交互的GUI交互事件序列，所述GUI交互事件序列包括一系列连续交互的GUI截图；

将所述GUI交互事件序列输入所述训练完成的目标检测模型，获得打图形元素标签的GUI交互事件序列；

为各所述打图形元素标签的GUI交互事件序列打交互标签，获得各打图形元素标签和交互标签的GUI交互事件序列；所述交互标签包括交互的操作动作和被操作的图形元素；

以所述打图形元素标签的GUI交互事件序列为输入，以打图形元素标签和交互标签的GUI交互事件序列为输出训练深度强化学习算法，获得训练完成的深度强化学习模型；

获取移动应用程序当前状态的GUI截图；

将所述当前状态的GUI截图输入所述训练完成的目标检测模型，获得打图形元素标签的当前状态的GUI截图；

根据打图形元素标签的当前状态的GUI截图检测是否存在GUI缺陷，若存在，记录GUI缺陷；

将所述打图形元素标签的当前状态的GUI截图输入所述训练完成的深度强化学习模型，获得打图形元素标签和交互标签的当前状态的GUI截图；

根据打图形元素标签和交互标签的当前状态的GUI截图，将所述操作动作施加到所述被操作的图形元素，更新移动应用程序的状态；

判断深度强化学习模型中奖励函数是否达到停止条件；

若否，返回“获取移动应用程序当前状态的GUI截图”。

2.根据权利要求1所述的移动应用程序GUI智能测试方法，其特征在于，判断深度强化学习模型中奖励函数是否达到停止条件，具体包括：

若所述深度强化学习模型中的奖励函数在设定时间内变化小于设定阈值，则停止移动应用程序GUI智能测试。

3.根据权利要求2所述的移动应用程序GUI智能测试方法，其特征在于，所述奖励函数正相关于所述移动应用程序GUI状态与GUI缺陷的累计总数；其中，所述奖励函数中累计的所述移动应用程序GUI状态不重复，所述GUI缺陷不重复。

4.根据权利要求1所述的移动应用程序GUI智能测试方法，其特征在于，所述方法还包括：

根据打图形元素标签的当前状态的GUI截图检测是否存在GUI缺陷；

若存在GUI缺陷，则记录GUI缺陷的json文件。

5.根据权利要求1所述的移动应用程序GUI智能测试方法，其特征在于，所述获取移动应用程序当前状态的GUI截图之前，所述方法还包括：

通过自动化测试工具与所述移动应用程序进行连接交互。

6.根据权利要求1所述的移动应用程序GUI智能测试方法，其特征在于，所述操作图形元素包括：文字按钮、图标、单选按钮、复选框、滑块、开关、页面指示器、输入框和GUI缺陷；所述GUI缺陷包括：加载错误、乱码、空白页和错误提示。

7.根据权利要求1所述的移动应用程序GUI智能测试方法，其特征在于，所述边界框定位包括边界框的坐标、宽度和高度。

8.根据权利要求1所述的移动应用程序GUI智能测试方法，其特征在于，所述操作动作包括单击、双击、长按、滑动和输入；所述滑动包括向左、向右、向上和向下滑动。