[发明专利]一种基于机器人的键盘输入设备自动化测试方法

权利要求书

1.一种基于机器人的键盘输入设备自动化测试方法，其特征在于，包括以下步骤：

S1，构建一套用于键盘输入测试的机器人装置，包括：支撑架、摄像头、机械臂、上下点击器，摄像头固定于支撑架上，用于捕获待测键盘的图像；上下点击器安装在机械臂上，用于敲击键盘；

S2，依托机器人装置对键盘进行自动化测试，具体步骤包括：

(1)通过视觉感知与智能推测，自动抽取键盘按键布局信息，构造已有键盘的键盘模型库；

(2)利用摄像头获取待测键盘现场图像，基于现场图像和键盘模型库中键盘图像进行图像匹配，若匹配成功，将模型中的键盘布局信息映射为当前现场键盘图像的像素空间按键坐标信息，若匹配失败，对现场待测键盘重新进行键盘模型抽取；

(3)将键盘像素空间坐标转换为物理世界按键坐标，并通过机器人触发按键动作，实现键盘输入自动测试。

2.根据权利要求1所述的基于机器人的键盘输入设备自动化测试方法，其特征在于，所述步骤S1中，支撑架放置于待测键盘左端，支撑架包括水平轴与垂直轴，在水平轴尾部固定摄像头，水平轴和竖直轴能够调节摄像头沿水平和竖直方向移动，控制摄像头拍摄角度，使摄像头能够获取整张待测键盘图像；机械臂放置于待测键盘前部且靠近整张键盘的中间位置，保证机械臂能够点击到键盘中的按键，机械臂末端安装上下点击器用于敲击键盘。

3.根据权利要求1所述的基于机器人的键盘输入设备自动化测试方法，其特征在于，所述步骤(1)包括：

(101)通过摄像头获取键盘图像，针对键盘图像构造初始键盘模型，一个键盘模型由键盘图像、键块划分以及按键坐标映射构成，表达为M＝Regions，Image，KeyMap，其中Regions代表键块，指键盘上按键位置相邻且布局符合一定规律性特征的区域；

KeyMap代表按键坐标映射，指键盘按键与键盘图像Image上像素坐标之间的一一对应关系；初始键盘模型包含给定的键块信息、键盘图像，KeyMap暂时待填充；

(102)对键盘图像进行灰度化和中值滤波处理，再应用轮廓检测算法在键盘图像中检测出若干轮廓；

(103)在检测出的轮廓中筛选出长宽比例大于指定阈值的轮廓，作为候选字母键或数字键轮廓，对筛选出的候选轮廓进行OCR文字识别，得到轮廓中的内容以及轮廓长、宽和左上角坐标信息，并以此计算像素空间中按键中心的坐标位置；

(104)对于文字不可识别的按键，由可识别按键与初始键盘模型中的键块信息，获取可识别按键在键块中的行、列索引，并计算相邻按键的行间距和/或列间距，基于可识别的按键坐标位置、按键在键块中的行列索引以及相邻按键行间距/列间距，推测不可识别按键在键盘图像中的像素坐标位置；

(105)根据直接识别的按键信息和推测所得的不可识别按键信息，对键盘模型进行填充，得到包括键盘中所有的按键像素坐标信息的完整键盘模型。

4.根据权利要求3所述的基于机器人的键盘输入设备自动化测试方法，其特征在于，所述步骤(101)中按键坐标映射表示为：

KeyMap：：Images×Keys→Coordinates

其中Images表示作为按键坐标映射基础的键盘图像，Keys表示键盘按键集合，Coordinates表示图像中的坐标点。