[发明专利]一种集成图像识别和机械手臂的前端自动化测试装置

权利要求书

1.一种集成图像识别和机械手臂的前端自动化测试装置，其特征在于，包括

图像采集模块：负责图片的采集，将采集的图像传输给图片识别模块，并且对全程进行录像，保存录像到指定路径且在生成报告时传递给报告生成单元；

逻辑控制单元：主要负责案例流程控制、案例操作获取、图像识别指令、异常逻辑处理、操作执行指令、测试结果判断；

图像处理模块：主要负责识别图片、计算图片及点击点位的位置信息；

机械臂控制单元：主要负责控制机械臂执行操作；

报告生成单元：生成报告并且呈现视频记录信息。

2.一种集成图像识别和机械手臂的前端自动化测试方法，其特征在于，包括以下步骤：

(S1)：用户设置操作控件图像库和对应的操作方法，并且录入异常场景的操作方法；

(S2):基于步骤(S1)，将图像及步骤编排成案例，并且设置判断逻辑；

(S3):图像采集模块对被测对象进行采集图像，使用摄像头进行采集，摄像头与后台图像识别单元链接，并且保证画面的实时传输，同时将录制画面以案例为整体保存到报告单元；

(S4):机械手臂点击指针与点击目标高度距离计算，设置机械手臂的初始位置，采用将机械手臂人工放置在被测设备的屏幕上，并造成一定点击压力，机械手臂控制单元在人工确认已放置完成后，控制单元将机械手臂抬高5CM，并且将抬高后的机械手臂数据存储，便于后续操作后回至原位；

(S5)：图像处理单元完成目标图像识别对比及机械手臂点击指针与点击目标平面距离计算；

(S6)：逻辑控制单元对机械臂控制单元发起动作指令；

(S7)：值得注意的是：1、在步骤(S5)阶段图像处理单元如果没有匹配到需要操作的图片，则会发出未匹配的信息给逻辑控制单元；2、逻辑控制单元会将异常场景图片信息传递给图像控制单元进行匹配；3、图像处理单元如果匹配到图像，则会继续执行步骤(S5)、步骤(S6)、步骤(S7)；不同的是逻辑控制单元开始判断异常场景处理方式；4、如果异常场景也未匹配到，且从开始匹配案例操作图片开始五秒后还未有图片匹配，则此条案例执行失败；

(S8):报告生成模块生成报告。

3.根据权利要求2所述的一种集成图像识别和机械手臂的前端自动化测试方法，其特征在于，所述的步骤(S3)具体包括：

(1)、工作台长64CM、宽64CM.

(2)、摄像头镜头录制画面需要刚好包括工作台，且无工作台以外的画面；

(3)、机械手臂的点击指针也应在工作台内部，并且包含在摄像头录制画面内，无需固定位置。

4.根据权利要求2所述的一种集成图像识别和机械手臂的前端自动化测试方法，其特征在于，所述的步骤(S5)具体包括：

(1)、逻辑控制单元根据案例编排的案例执行顺序，将需要操作的图片传递给图像处理单元；

(2)、图像处理单元将采集到的实时图像和需要操作图片进行图像识别和比对；比对成功后，将需要操作图片在实时图像位置进行标记、边缘凸显；

(3)、将上述实时图像进行64*64划分网格，则会有4096个正方形网格，每个网格边长1CM；

(4)、使用连线方法和图像中心位置计算方法，将机械手臂点击指针所在图像位置与标记图像中心位置、标记图像边缘进行连线；

(5)、使用图像处理技术，抠出包含机械手臂点击指针所在图像位置、连线、图像的网格整体；

(6)、对抠出的图像再进行等比例划分，并计算划分后，新生成每个网格的长宽；

(7)、结合已知的网格长宽,根据勾股定律，计算每条连线的长度及竖直角度，并记录；

(8)、将每条连线的长度及竖直角度发送给逻辑控制单元。