[发明专利]一种继电保护装置面板与屏幕内容自动化识别方法

权利要求书

1.一种继电保护装置面板与屏幕内容自动化识别方法，其特征在于：该方法包括以下步骤：

S1：获取继电保护装置面板与屏幕图像；

S2：对所述继电保护装置面板与屏幕图像进行预处理；

S3：对所述预处理后图像使用CTPN模型进行文本的检测；

S4：使用LSTM+CTC文本识别网络来对所述检测出文本进行文本的识别。

2.根据权利要求1所述的一种继电保护装置面板与屏幕内容自动化识别方法，其特征在于：步骤S2中预处理方法包括以下步骤：

S201：对所述继电保护装置面板与屏幕图像进行灰度化处理，转成灰度图像；

S202：对所述灰度图像增强，采用一种双直方图均衡的算法来对图像进行增强，即选择一个合适的灰度阈值，将原图像划分为两个子图，分别进行直方图均衡，最后将两个子图像合并；

S203：对所述灰度阈值的选取，采用以下准则：

1.图像的信息熵

2.图像的亮度差

将图像的信息熵定义如下：

其中，p_i表示灰度i的概率，L表示输入图像总的灰度级数；

图像的亮度差由输入图像的平均亮度与输出图像的平均亮度表示，定义如下：

G(x)＝|g(m)-f(l)|

其中，g(m)表示输出图像m的平均亮度，f(l)表示输入图像l的平均亮度，n_1i和n_2i分别表示输出与输入图像灰度值为i的像素个数，N₁和N₂分别表示输出与输入图像的总像素个数；

综上，所述灰度阈值为:

S204：通过所述灰度阈值，将所述缩放后继电保护装置面板与屏幕图像划分成两个子图像，分别进行直方图均衡化，最后将俩个子图像合并，得到合并图像；

S205：对所述合并图像进行缩放。

3.根据权利要求1所述的一种继电保护装置面板与屏幕内容自动化识别方法，其特征在于：步骤S3中使用CTPN模型进行文本的检测方法包括以下步骤：

S301：输入所述增强后图像，使用VGG16进行特征的提取，得到conv5_3的特征作为feature map；

S302：在这个feature map上做滑窗；

S303：将每一行的所有窗口对应的特征输入到RNN中；

S304：将RNN的结果输入到FC层；

S305：FC层特征输入到三个回归层中；

S306：使用文本构造的算法，将得到的细长的矩形框，作为候选区，将每两个相近的候选区组成一个pair，合并不同的pair成文本序列框直到无法再合并为止。

4.根据权利要求1所述的一种继电保护装置面板与屏幕内容自动化识别方法，其特征在于：步骤S4中使用LSTM+CTC文本识别网络来对所述检测出文本进行文本的识别方法包括以下步骤：

S401：在继电保护装置面板与屏幕内容的识别过程中，对网络搭建LSTM层来进行文本的识别；

S402：对LSTM层的输出数据进行解码，引入CTC层，CTC层根据空白符分割序列，合并相邻且相同的字符；

S403：解码后进行网络的训练，采用开源工程人工生成训练数据；

S404：将所述训练数据导入到构建好网络模型中，使用梯度下降法最小化损失函数如下所示：

o＝-∑log p(l_i|y_i)，i＝(0,1,2...n)

其中，y_i、l_i分别代表第i个输入和其对应的真实标签序列，p(l_i|y_i)表示第i个输入对应其真实标签序列的概率；

通过训练修改网络参数，得出训练好的LSTM+CTC文本识别网络；

S405：将检测出文本的图像输入训练好的LSTM+CTC文本识别网络，得出最终的文本识别结果。