[发明专利]一种屏幕图像识别方法、设备、系统和可读存储介质

说明书

本申请涉及一种屏幕图像识别方法、设备、系统和可读存储介质，其包括提取目标图像的多个特征点；对所述目标图像的多个特征点和参考模板的多个特征点进行几何配准计算，得到相似度；若所述相似度大于等于相似度阈值，则根据所述参考模板，输出第一识别结果；若所述相似度小于所述相似度阈值，则通过神经网络对所述目标图像的特征点进行识别，输出第二识别结果。本申请提高屏幕图像识别的稳定性和响应速度，进而提高屏幕图像识别的适用性。

技术领域

本申请涉及计算机视觉技术领域，尤其是涉及一种屏幕图像识别方法、设备、系统和可读存储介质。

背景技术

在计算机技术飞速发展的时代，造成人力成本也随各种因素不断攀升，计算机视觉逐渐广泛的渗透到工业生产的各个领域。在自动化工业上，计算机视觉是一个很有前景的发展方向，它能够使机器像人类一样拥有类似眼睛与大脑的视觉系统，可以完成各种复杂的工作。

比如在某些自动化较低水平的场景下，机器被赋予固定的程序，重复着相同的动作或功能，没有对目标具有自感知能力，在某些情况下无法实现对人工的完全取代，比如汽车喷涂，或是在工业检测领域，对于某些具有外形缺陷的零件，往往是需要多名工人在流水线上对不合格的产品进行手工挑选，不仅需要工人具有先验知识，还费时费力，仍然没有脱离传统的工业模式，限制企业的发展。通过数字图像处理技术，可以提高机器的处理能力并适应长时间的目标任务，改善传统的工业模式。

但对于一些场景复杂或外界干扰较大的情况下，上述数字图像处理技术的稳定性不足，响应速度低，从而导致适用性差。

发明内容

为了提高屏幕图像识别的稳定性和响应速度，进而提高屏幕图像识别的适用性，本申请提供一种屏幕图像识别的方法、设备及系统，包括：

第一方面，本申请提供一种屏幕图像识别方法，包括：

提取多个参考模板的多个特征点；

提取目标图像的多个特征点；

对所述目标图像的多个特征点和所述多个参考模板的多个特征点进行几何配准计算，得到相似度；

若所述相似度大于等于相似度阈值，则根据所述参考模板，输出第一识别结果；

若所述相似度小于所述相似度阈值，则通过神经网络对所述目标图像的多个特征点进行识别，输出第二识别结果。

通过采用上述技术方案，将图像处理算法和具有深度学习能力的神经网络相结合，简化系统的复杂度，使其具有较快的响应能力，且同时又能具有学习能力，最大限度的提高适应性和智能水平。

优选的，在所述提取目标图像的多个特征点之前，所述方法还包括：

获取多个包含目标场景的参考图像；

对所述多个包含目标场景的参考图像中的目标区域进行提取，得到所述多个参考模板。

优选的，在所述提取目标图像的多个特征点之前，所述方法还包括：

根据所述多个参考模板的多个特征点，对所述神经网络进行训练。

优选的，所述对所述目标图像的多个特征点和所述多个参考模板的多个特征点进行几何配准计算，得到相似度包括：

根据所述目标图像的多个特征点，获取所述目标图像的特征图；

根据所述多个参考模板的多个特征点，获取所述多个参考模板的特征图；

对所述目标图像的特征图和所述多个参考模板的特征图进行几何配准计算，得到所述相似度。

第二方面，本申请提供一种屏幕图像识别设备，包括，

参考提取模块，用于对多个参考模板提取多个特征点；