[发明专利]一种基于图像识别技术的实验设备实验过程实时监视方法

权利要求书

1.一种基于图像识别技术的实验设备实验过程实时监视方法，其特征在于所述方法包括如下步骤：

S1：分析实验设备进行一次实验操作的流程，观察并记录在待监视软件的主界面中出现显示变化的区域与实验开始触发的按钮区域，在计算机系统中选择某一路径作为存储截取图像文件的指定路径，并在该指定路径中新建文件夹1、2、3、4，其中：主界面中出现显示变化的区域记为特征区域，实验开始触发的按钮区域记为按钮区域；

S2：截取初始状态时待监视软件的特征区域和按钮区域图像，并存储在文件夹1中；

S3：应用Windows的API截取计算机屏幕的全屏图像，并存储在文件夹2中；

S4：获取待监视软件的窗口名称；

S5：根据待监视软件的窗口名称，获取待监视软件的窗口句柄，应用Windows的API截取计算机中待监视软件的主界面图像，并存储在文件夹3中；

S6：利用图像搜索技术在主界面图像中搜索特征区域和按钮区域，获取特征区域和按钮区域在主界面图像中的区域位置坐标；

S7：根据特征区域的位置坐标，利用图像分割技术在主界面图像中截取匹配的特征区域图像，记为捕捉区域，并存储在文件夹4中；

S8：根据图像对比算法中图像结构相似性理论，计算相邻两次捕捉区域图像的结构相似性值SSIM(n)，若SSIM(n)＝1，则表示相邻两次捕捉区域一致，即特征区域未产生改变；若SSIM(n)1，则表示相邻两次捕捉区域不一致，即特征区域产生改变，若是第一次进行循环，则与S1中特征区域进行结构相似性值的计算，得到SSIM(1)；

S9：根据相对性原理，利用S6获得的位置坐标，分析主界面图像与全屏图像的关系，计算得到按钮区域相对于全屏图像的位置坐标；

S10：利用鼠标定位技术获得鼠标的位置坐标(mouse_x，mouse_y)；

S11：应用Windows的API进行鼠标动作检测；

S12：通过鼠标的位置是否在按钮区域内、鼠标是否执行相应动作、SSIM(n)是否小于1进行协同判断；

S13：若S12的判断条件均满足，则记录当前时刻的系统时间，通过奇偶判断该系统时间是实验开始时间还是实验结束时间并输出，返回S5；若S12的判断条件任一不满足，则返回S5。

2.根据权利要求1所述的基于图像识别技术的实验设备实验过程实时监视方法，其特征在于所述SSIM的计算公式如下：

其中，x、y分别表示需要进行结构相似性对比的图像；c₁、c₂为常数值；μ_x、μ_y分别表示图像x、y的灰度平均值；σ_x、σ_y分别表示图像x、y的灰度标准差；σ_xy表示图像x、y的灰度协方差。

3.根据权利要求2所述的基于图像识别技术的实验设备实验过程实时监视方法，其特征在于所述μ_x、μ_y、σ_x、σ_y、σ_xy的计算公式如下：

其中，x_i、y_i分别表示图像x、图像y的像素点的灰度值；N表示每个图像的像素点数。

4.根据权利要求1所述的基于图像识别技术的实验设备实验过程实时监视方法，其特征在于所述协同判断的条件判断表达式如下：

其中，left_a3、right_a3、top_a3、bottom_a3为a3区域相对于计算机屏幕全屏的位置坐标，a3区域为按钮区域，tag_down为鼠标动作标志值。