[发明专利]一种基于机器人的键盘输入设备自动化测试方法

说明书

本发明公开了一种基于机器人的键盘输入设备自动化测试方法，包括以下步骤：构建一套用于键盘输入测试的机器人装置，由三维运动机械臂、摄像头等几部分构成；依托机器人装置对键盘进行自动化测试，具体包括：首先通过视觉感知自动抽取键盘按键布局信息，构造已有键盘的模型；然后在键盘模型库中匹配模型，将模型中的键盘布局信息映射为当前现场键盘图像中的像素空间按键坐标信息；最后，结合键盘外形信息，将像素空间按键坐标转换为物理世界按键坐标，并通过机器人触发键盘动作，实现键盘输入自动测试。本发明基于物理机器人和视觉技术，实现了对键盘输入的非侵入式测试，可在无需向键盘所在系统植入额外软件的情况下工作，具有广泛的适用性。

技术领域

本发明涉及一种键盘输入设备自动化测试方法，属于其它新型计算机外围设备与计 算机软件技术领域。

背景技术

软件测试中，很多场景下需要对键盘进行重复点击等操作，对该键盘输入进行测试 自动化，可以提高测试效率，节省时间和人力成本。

当前已经存在一些涉及键盘设备的测试自动化技术。一类方法基于系统调用，通过 调用被测设备所在底层操作系统提供的API，完成键盘按键输入的自动给入。例如，Hu等人在Windows平台上实现按键输入功能，他们调用Windows系统提供的PostMessage 接口实现按键按下和弹起两个功能。Gu等人在Android平台中通过adb shell input keyevent完成键盘按键输入功能。对于无法获取底层操作系统接口的被测平台中，该方 法无法实施。另一类是通过硬件模拟的方法实现按键自动输入功能。例如Yung-Pin Cheng 等提出使用ARM Cortex-M4开发板来拦截/仿真键盘和鼠标事件。首先通过诸如VGA、 USB、PS/2等电子信号的拦截，记录测试人员的测试动作并将其写入测试脚本，然后利 用硬件仿真录制的电子信号，重现键盘行为。该方法需要将开发板与被测系统相连接， 对于不对外暴露接口的被测设备，此方法无法实施。以上方法或者需要底层系统暴露 API接口，或者需要被测设备暴露硬件信号接口，均不能用于系统封闭的被测目标。

发明内容

发明目的：针对计算机键盘设备的测试自动化问题，本发明提出一种基于机器人的 键盘输入设备自动化测试方法，利用视觉识别键盘按键，并利用机器人实现按键点击。

技术方案：一种基于机器人的键盘输入设备自动化测试方法，包括以下步骤：

S1，构建一套用于键盘输入测试的机器人装置，包括：支撑架、摄像头、机械臂、 上下点击器，摄像头固定于支撑架上，用于捕获待测键盘的图像；上下点击器安装在机 械臂上，用于敲击键盘；

S2，依托机器人装置对键盘进行自动化测试，具体步骤包括：

(1)通过视觉感知与智能推测，自动抽取键盘按键布局信息，构造已有键盘的键盘模型库；

(2)利用摄像头获取待测键盘现场图像，基于现场图像和键盘模型库中键盘图像进行图像匹配，若匹配成功，将模型中的键盘布局信息映射为当前现场键盘图像的像素 空间按键坐标信息，若匹配失败，对现场待测键盘重新进行键盘模型抽取；

(3)将键盘像素空间坐标转换为物理世界按键坐标，并通过机器人触发按键动作，实现键盘输入自动测试。

作为本发明的优选实施方式，所述步骤(1)包括：

(101)通过摄像头获取键盘图像，针对键盘图像构造初始键盘模型，一个键盘模型由键盘图像、键块划分以及按键坐标映射构成，表达为M＝Regions,Image,KeyMap， 其中Regions代表键块，指键盘上按键位置相邻且布局符合一定规律性特征的区域； KeyMap代表按键坐标映射，指键盘按键与键盘图像Image上像素坐标之间的一一对应 关系；初始键盘模型包含给定的键块信息、键盘图像，KeyMap暂时待填充；

(102)对键盘图像进行灰度化和中值滤波处理，再应用轮廓检测算法在键盘图像中检测出若干轮廓；