[发明专利]一种屏幕图像识别方法、设备、系统和可读存储介质

权利要求书

1.一种屏幕图像识别的方法，其特征在于，包括：

针对待检测的所有液晶显示屏幕界面，预先准备样本库，样本库方便后续的数据更换；

对保存的所有目标的局部样本，即标准屏幕界面进行SURF特征点检测，此过程要求检测参数一致；

输入实时目标图像，进行预处理；

将预处理后的目标图像传输至特征提取器，获得若干局部不变特征点信息；

提取多个参考模板的多个特征点；

获取多个包含目标场景的参考图像，具体为：

设置曝光时间，其中，曝光时间小于第一预设值，大于第二预设值：

设置曝光时间所在的区间，该区间内包含n个可选曝光时间，对该n个可选曝光时间中的第i个曝光时间，执行以下操作：

根据该第i个曝光时间，设置相机；

通过该相机，获取屏幕图像；

对该屏幕图像进行评估，并输出第i个评估结果，该评估过程是通过噪声识别实现的；

其中，该评估结果与屏幕图像的噪声强度对应，该评估结果所指示的数值越大，则屏幕图像的噪声强度越强；

对第i+1个曝光时间继续执行上述操作，并输出第i+1个评估结果，直至对该n个可选曝光时间都执行完上述操作，获得n个评估结果；

选取该n个评估结果中数值最小的评估结果所对应的曝光时间；

根据该曝光时间，通过相机拍摄目标场景；

对所述多个包含目标场景的参考图像中的目标区域进行提取，得到所述多个参考模板；

识别并提取该参考图像中的目标区域；

将得到的参考模板按顺序命名并保存；

提取目标图像的多个特征点；

对所述目标图像的多个特征点和所述多个参考模板的多个特征点进行几何配准计算，得到相似度；

若所述相似度大于等于相似度阈值，则根据所述参考模板，输出第一识别结果；

若所述相似度小于所述相似度阈值，则通过神经网络对所述目标图像的多个特征点进行识别，输出第二识别结果；

参考模板的特征图包括，参考模板的特征点图、参考模板的特征矢量图和参考模板的特征角度图；

对目标图像的特征点图上和多个参考模板的特征点图上的所有特征点都对应标记数字和颜色，其中，数字表示特征点的序号，颜色代表特征点的匹配情况，相同的数字表示配对的两个特征点；根据特征点的分布特征确定目标图像相近的参考模板；

将目标图像的特征点图中的特征点从1号开始，依次首尾相接形成若干的向量，形成向量集合，称这些向量集合为特征矢量，这些特征矢量形成目标图像的特征矢量图；

对多个参考模板的特征点图上的序号以目标图像的特征点图上的顺序为基准重排，获得多个参考模板的特征矢量图；

在此过程中可知，若目标图像的特征矢量图中的特征点数为n，则向量数量为n-1，则夹角数量为n-2，每个特征矢量是由两个相邻特征点组成，设该特征矢量为u=[u1,u2,u3,...,u(n-1)], 称每相邻两条向量所构成夹角为特征角度θ=[θ1,θ2,θ3,...,θ(n-2)]，且形成目标图像的特征角度图；

参考模板的特征矢量图中含n+1个特征点，构成n条特征矢量，设为v=[v1,v2,v3,...,v(n)]，其中序号为n+1的特征点在筛选后的重排中会被忽略，邻特征矢量构成的特征角度α=[α1,α2,α3,...,α(n-1)]，且形成参考模板的特征角度图；

另一参考模板的特征矢量图中含n个特征点，构成n-1条特征矢量，w=[w1，w2,w3,...,w(n-1)]及其相邻特征矢量构成的特征角度β=[β1,β2,β3,...,β(n-2)]，且形成参考模板的特征角度图；

为目标图像的特征角度图和多个参考模板的特征角度图都定义一个布尔型向量，用来描述目标图像的特征角度图和多个参考模板的特征角度图中所有特征点的位置分布特征，称此向量为特征方向；

从每个图中的第一个特征矢量开始旋转一个角度至第二个特征矢量，当两个向量的向量积方向垂直平面向外时，该布尔型向量的分量为1，否则为-1；

故目标图像的特征角度图和多个参考模板的特征角度图都生成一个长度为n-2，分量为-1、1的特征方向，则每两幅图像的特征一致置信度为1-d/len，其中d为特征方向维度分量不同的个数，len为总维度；

若所述相似度大于等于相似度阈值，则根据所述参考模板，输出第一识别结果；

当两幅特征角度图的一致置信度高于0.9时，认为两幅图像包含相同目标或为同一场景；

若所述相似度小于所述相似度阈值，则通过神经网络对所述目标图像的多个特征点进行识别，输出第二识别结果；

目标图像与任一参考模板置信度小于0.9时，系统瞬态切换到深度学习的目标识别方法。