[发明专利]字符图像的残缺区域检测和残缺字符图像恢复方法

说明书

本发明提出了一种残缺字符图像恢复方法，包括：将序列字符分割为单个字符，通过聚类的方法检测出字符残缺部分作为待补全区域，用WGAN生成器生成的字符图像对残缺部分进行补全，最后得到最终恢复图像。本发明在字符图像有少量残缺破损的情况下能够将其恢复成原状。

技术领域

本发明涉及机器学习技术领域，尤其涉及基于图像聚类的残缺区域检测，基于生成对抗网络的残缺字符图像恢复方法。

背景技术

字符是我们与外界沟通的重要媒介之一，人类获取的信息中有90％来源于眼睛捕捉到的画面，而字符无疑是最为重要的信息获取方式，也是我们和其他动物的一个重要的区分。随着计算机技术的发展，用计算机技术捕捉字符图像以及检测识别字符变得越来越成熟。然而，现实生活中，我们常常会遇到字符残缺的现象，一部分是由于在户外场景下，会受到风吹日晒等影响广告牌或者海报等受到破坏，另一方面则是在原有的字符上面被重新打印或者是涂鸦上了字符，使得原本的字符无法很好地辨识，如图1。

发明内容

在现有的技术下，我们很难对这些已经破损的字符进行识别，识别的结果往往和真实的结果相差甚远，因此，本发明的目的是提供一种可用于对原有破损字符图像恢复的方法，方便后续计算机对字符的识别和理解。

本发明首先提出一种对残缺字符进行分割的方法，所述方法包括：

一种残缺字符图像分割方法，其特征在于包括如下步骤：

对原始图像进行二值化处理，将字符部分与背景图像进行区分；

对二值化的图像进行边缘检测，再对边缘检测后的图像进行霍夫变换，获取字符部分的倾斜角，对其进行倾斜矫正；

对倾斜矫正的图像进行竖直方向投影，得到像素级的投影直方图，在投影直方图中寻找合适的阈值对原始图像进行分割，得到单个残缺字符图像。

作为本发明的一种优选技术方案：所述方法还包括：针对光照不均的图像，进行顶帽变换以及局部二值化处理，有效地区分出字符区域和背景图像。

本发明还提出一种图像中字符残缺部分检测方法，其特征在于，对残缺字符图像进行K均值聚类，将每个像素点归属到背景区域、字符区域以及残缺区域其中之一，将字符区域，残缺区域以及背景区域做一个分离，所述残缺区域作为待恢复区域。

本发明提出一种单个残缺字符图像的恢复方法，所述方法包括如下步骤：

首先采集大量完整的单个字符图像，用其训练生成对抗网络WGAN，这个网络包括一对生成器和判别器，对于生成器，给定一个输入向量，该生成器可以生成一幅单个字符的图像；对于判别器，给定一幅字符图像，它可以判定是真还是假(或者说真/假的可能性有多大)；训练好WGAN后，将其生成器和判别器的权值保持固定；

将一个随机给定的向量m输入到全连接神经网络F，得到输入给WGAN生成器的输入向量n，通过生成器得到一幅单个字符图像，将这幅图像与待恢复的单个残缺字符图像进行比较，计算两者除去单个残缺字符图像待恢复区域以外的均方误差作为第一部分的损失函数；

将通过生成器生成的图像与单个残缺字符图像进行融合，在残缺字符图像待恢复区域填补上对应位置生成的图像，将融合后的图像送入判别器，得到是否是假的概率，作为第二部分损失函数；

将两部分的损失函数做加权和，作为整体的损失函数，通过梯度下降法优化全连接神经网络F的权值，通过多次迭代优化得到最终融合图像。

作为本发明的一种优选技术方案：所述方法还包括：在开始的时候随机生成一组向量{m}，选取损失函数最小的向量作为最终的m并且保持固定，优化迭代的时候只优化全连接神经网络F的权值。