[发明专利]一种H5页面随机密码键盘的自动化测试方法

说明书

本发明涉及自动化测试领域，提供了一种H5页面随机密码键盘的自动化测试方法，目的在于解决随机密码键盘每个字符通过模拟鼠标键盘发送键值的操作不起作用的问题。主要方案包括：步骤1：对随机密码键盘的H5页面进行截图，并进行重置图片的大小、二值化、膨化操作，得到处理后的图像imageB；步骤3：对图像imageB进行OCR识别，得到识别后的反映字符位置数据的字典dictC和字典dictD；步骤4：对字典dictC进行计算，得到符合长度和符合键盘位置的数据字典dictE；步骤5：对字典dictE和字典dictD进行判断检查并计算，得到键盘中26个字母的坐标；步骤6：根据字母的坐标进行对应的键盘位置点击。

技术领域

本技术运用于自动化测试领域，实现对H5页面随机密码键盘的自动化定位，解决UI自动化测试中无法定位随机密码键盘的难题。

背景技术

出于安全考虑，目前跟金额交易相关的大多数客户端软件密码键盘采用随机模式，即同个字符每次出现的按钮位置不一样(如图1)。UI自动化测试无法通过绝对坐标或者相对坐标来定位字符。密码键盘采用加密方式传输，输入框是div，传统的send_keys()方法和模拟鼠标键盘发送键值的操作不起作用。

因此，目前针对随机密码键盘自动化测试可用的方案是使用第三方虚拟键盘DDXOFT，DD XOFT是基于系统底层集成，模拟鼠标键盘操作实现桌面操作自动化。但使用DDXOFT需要联网进行动态链接库(DLL)初始化，故内网测试环境中无法通过此软件进行自动化测试操作。

为此对于H5页面随机密码键盘的自动化定位，现有的技术方案是通过截取目标图像，对目标图像进行图像识别来定位。图像识别的缺点有：(1)对于不同风格的键盘，需要重新截取目标图像；(2)同一键盘，对于不同屏幕尺寸的手机，大概率需要重新截取目标图像，故图像识别定位方法适用性相对较差。

发明内容

本方案主要解决问题是基于OCR文字识别技术，通过对OCR识别返回信息进行一系列计算，获得随机密码键盘每个字符的坐标，实现对H5页面密码软键盘的自动化测试定位，该方法适用于不同风格的键盘和不同屏幕尺寸的手机，解决了原有技术需要重新截图的难题。

本发明为解决上述技术问题采用以下技术手段：

一种H5页面随机密码键盘的自动化测试方法，包括以下步骤：

步骤1：对随机密码键盘的H5页面进行截图，得到图像imageA；

步骤2：对图像imageA进行重置图片的大小、二值化、膨化操作，得到处理后的图像imageB；

步骤3：对图像imageB进行OCR识别，得到识别后的反映字符位置数据的字典dictC和字典dictD；

步骤4：对字典dictC进行计算，得到符合长度和符合键盘位置的数据字典dictE；

步骤5：对字典dictE和字典dictD进行判断检查并计算，得到键盘中26个字母的坐标；

步骤6：根据字母的坐标进行对应的键盘位置点击。

上述技术方案中，所述步骤2包括以下步骤：

步骤2.1：对图像imageA进行重置图片的大小，得到标准化尺寸的图像imageA-1；

步骤2.2：对图像imageA-1进行图像二值化计算，得到二值化黑白图像imageA-2，突出目标字符，去除无关元素；

步骤2.3：对图像imageA-2进行膨胀处理，得到图像imageB。

上述技术方案中，所述步骤3包括以下步骤：

步骤3.1：调用pytesseract.image_to_data()函数对图像imageB进行OCR识别，得到每一行字符位置数据字典dictC；