[发明专利]一种基于图像识别技术的实验设备实验过程实时监视方法

说明书

本发明公开了一种基于图像识别技术的实验设备实验过程实时监视方法，所述实时监视方法包括如下步骤：S1：本地操作者通过分析待监视实验设备的计算机实验软件的运行特点，获得关键时间点和对应的图像变更特征区域；S2：利用图像搜索技术找到上述特征区域；S3：利用图像分割技术截取上述特征区域并保存；S4：利用图像对比算法、图像灰度处理技术以及鼠标定位技术协同判断并获取实验过程的关键步骤信息。本发明可实现对具有私有协议的计算机实验软件的实验设备实验过程进行实时监视。

技术领域

本发明属于智能设备监视领域，涉及一种基于图像识别技术的实验设备实验过程实时监视方法。

背景技术

随着人类对太空的探索日趋深入，在航天器材料、器件及其功能系统的空间环境效应等方面亟待深入研究。“空间环境地面模拟装置”国家重大科技基础设施，建设具有国际领先水平的空间综合环境地面模拟平台，实现空间主要环境因素及其效应的模拟，是解决上述问题的关键手段。

在“空间环境地面模拟装置”国家重大科技基础设施项目中，各实验系统有为数不少的实验设备利用具有私有协议的计算机实验软件完成实验过程，但不提供应用程序编程接口、不提供文件读取等功能，存在难以进行实验过程实时管理的问题。为实时监视实验机时、识别实验关键环节、记录实验步骤信息，需要提供一种有效的实验设备实验过程实时监视方法。

发明内容

针对实验设备利用具有私有协议的计算机实验软件完成实验过程，但不提供应用程序编程接口、不提供文件读取等功能，存在难以进行实验过程实时管理的问题，本发明提供了一种基于图像识别技术的实验设备实验过程实时监视方法。本发明可实现对具有私有协议的计算机实验软件的实验设备实验过程进行实时监视。

本发明的目的是通过以下技术方案实现的：

一种基于图像识别技术的实验设备实验过程实时监视方法，包括如下步骤：

S1：分析实验设备进行一次实验操作的流程，观察并记录在待监视软件的主界面中出现显示变化的区域与实验开始触发的按钮区域，在计算机系统中选择某一路径作为存储截取图像文件的指定路径，并在该指定路径中新建文件夹1、2、3、4，其中：主界面中出现显示变化的区域记为特征区域，实验开始触发的按钮区域记为按钮区域；

S2：截取初始状态时待监视软件的特征区域和按钮区域图像，并存储在文件夹1中；

S3：应用Windows的API截取计算机屏幕的全屏图像，并存储在文件夹2中；

S4：获取待监视软件的窗口名称；

S5：根据待监视软件的窗口名称，获取待监视软件的窗口句柄，应用Windows的API截取计算机中待监视软件的主界面图像，并存储在文件夹3中；

S6：利用图像搜索技术在主界面图像中搜索特征区域和按钮区域，获取特征区域和按钮区域在主界面图像中的区域位置坐标；

S7：根据特征区域的位置坐标，利用图像分割技术在主界面图像中截取匹配的特征区域图像，记为捕捉区域，并存储在文件夹4中；

S8：根据图像对比算法中图像结构相似性理论，计算相邻两次捕捉区域图像的结构相似性值SSIM(n)，若SSIM(n)＝1，则表示相邻两次捕捉区域一致，即特征区域未产生改变；若SSIM(n)1，则表示相邻两次捕捉区域不一致，即特征区域产生改变，若是第一次进行循环，则与S1中特征区域进行结构相似性值的计算，得到SSIM(1)；

S9：根据相对性原理，利用S6获得的位置坐标，分析主界面图像与全屏图像的关系，计算得到按钮区域相对于全屏图像的位置坐标；

S10：利用鼠标定位技术获得鼠标的位置坐标(mouse_x，mouse_y)；

S11：应用Windows的API进行鼠标动作检测；