[发明专利]一种集成图像识别和机械手臂的前端自动化测试装置

说明书

本发明公开了一种集成图像识别和机械手臂的前端自动化测试装置，它涉及支付领域。本发明在图像采集上使用摄像头实时监控的方式进行采集；对图像的识别采用的是动态识别，并且对采集的动态图像实时进行网格划分，并且每个网格进行打标(达标与机械臂的操作位置对应)，再对图像进行识别和匹配，计算出匹配的网格位置；将网格的位置传送给操作逻辑判断模块进行计算机械臂需要执行的操作(点击、滑动、按键、长按、关机、开机调整音量)，并且计算机械臂移动的距离，何时下沉，何时抬起，确定操作的点位、距离和时长；控制机械手臂；在生成报告时，采用每条案例一个录屏的方式生成报告，以便后续的回溯。

技术领域

本发明涉及的是支付领域，具体涉及一种集成图像识别和机械手臂的前端自动化测试装置种。

背景技术

目前行业上比较多的技术：通过截图的方式进行图像传输，再进行图像识别，图像识别匹配成功后，通过一个固定的标记点位坐标，计算与标记点位的坐标差，从而得到需要操作的控件坐标。再基于各自操作系统的开源UI自动化工具，实施测试操作。

现有技术对图像的采集主要是以截图的方式，这样就导致了一定的延迟性，截图的图像和实际发生测试操作时图像会有一定的不同，必然会导致一定的错误率，而且截图的和传递的时间比较长，必然会导致测试执行效率低下；对图像的识别处理主要是全屏的识别的方式进行识别，不能适应配置化页面测试测试；现有技术测试的操作动作主要使用操作系统的开源UI自动化工具实施，依赖操作系统的自动化测试框架，每个操作系统开源的UI自动化框架，内部对点位的定位方法和处理逻辑都不一样。这样就导致现有技术无法兼容多操作系统的自动化测试。如：该方法可以在window上面执行WEBUI测试，就无法在安卓系统上面执行前端UI测试；生产报告只是操作时的截图，无法很好的复现问题或者测试场景，增加测试结果检查难度。

发明内容

针对现有技术上存在的不足，本发明目的是在于提供一种集成图像识别和机械手臂的前端自动化测试装置，提升了测试的准确度和测试效率，提出一种更高效的点位定位方案，解决了现有技术的平台兼容性问题，同时让测试回溯更准确更高效更直观。

为了实现上述目的，本发明是通过如下的技术方案来实现：一种集成图像识别和机械手臂的前端自动化测试装置，包括

图像采集模块：负责图片的采集，将采集的图像传输给图片识别模块，并且对全程进行录像，保存录像到指定路径且在生成报告时传递给报告生成单元。

逻辑控制单元：主要负责案例流程控制、案例操作获取、图像识别指令、异常逻辑处理、操作执行指令、测试结果判断。

图像处理模块：主要负责识别图片、计算图片及点击点位的位置信息。

机械臂控制单元：主要负责控制机械臂执行操作。

报告生成单元：生成报告并且呈现视频记录信息。

一种集成图像识别和机械手臂的前端自动化测试方法，包括以下步骤：

S1：用户设置操作控件图像库和对应的操作方法，并且录入异常场景的操作方法。

S2:基于S1步骤，将图像及步骤编排成案例，并且设置判断逻辑。

S3:图像采集模块对被测对象进行采集图像，使用摄像头进行采集，摄像头与后台图像识别单元链接，并且保证画面的实时传输，同时将录制画面以案例为整体保存到报告单元；

S4:机械手臂点击指针与点击目标高度距离计算，设置机械手臂的初始位置，采用将机械手臂人工放置在被测设备的屏幕上，并造成一定点击压力，机械手臂控制单元在人工确认已放置完成后，控制单元将机械手臂抬高5CM，并且将抬高后的机械手臂数据存储，便于后续操作后回至原位。

S5：图像处理单元完成目标图像识别对比及机械手臂点击指针与点击目标平面距离计算；