[发明专利]字符图像的残缺区域检测和残缺字符图像恢复方法

权利要求书

1.一种单个残缺字符图像的恢复方法，其特征在于，所述方法包括如下步骤：

先采集大量完整的单个字符图像，用其训练生成对抗网络WGAN，使WGAN的生成器有较好的字符图像生成效果，判别器有较强的真伪图像判别能力，将两部分网络的权值固定；

将一个随机给定的向量输入一个全连接神经网络，得到的输入向量作为对抗网络WGAN生成器的输入，通过生成器生成一幅单个字符图像，将这幅图像与待恢复的单个残缺字符图像进行比较，计算两者除去单个残缺字符图像待恢复区域以外的均方误差作为第一部分的损失函数；

将通过生成器生成的图像与单个残缺字符图像进行融合，在残缺字符图像待恢复区域填补上对应位置生成的图像，将融合后的图像送入对抗网络WGAN的判别器，得到是否是假的概率，作为第二部分损失函数；

将两部分的损失函数做加权和，作为整体的损失函数，通过梯度下降法优化全连接神经网络的权值，通过迭代优化的方式得到最终融合图像。

2.如权利要求1所述的单个残缺字符图像的恢复方法，其特征在于，开始的时候随机生成一组向量，选取损失函数最小的向量作为最终输入到全连接神经网络的向量并且保持固定，优化迭代的时候只优化全连接神经网络的权值。

3.一种图像中字符残缺部分的恢复方法，其特征在于，所述方法包括如下步骤：

步骤一：对残缺字符图像进行分割，得到单个残缺字符图像；

步骤二：对字符残缺部分进行检测，对每个残缺字符图像进行K均值聚类，将每个像素点归属到背景区域、字符区域以及残缺区域其中之一，将字符区域，残缺区域以及背景区域做一个分离，所述残缺区域作为待恢复区域；

步骤三：对每个残缺字符图像的残缺区域进行恢复，具体方法是：

先采集大量完整的单个字符图像，用其训练生成对抗网络WGAN，使WGAN的生成器有较好的字符图像生成效果，判别器有较强的真伪图像判别能力，将两部分网络的权值固定；

将一个随机给定的向量输入一个全连接神经网络，得到的输入向量作为对抗网络WGAN生成器的输入，通过生成器生成一幅单个字符图像，将这幅图像与待恢复的单个残缺字符图像进行比较，计算两者除去单个残缺字符图像待恢复区域以外的均方误差作为第一部分的损失函数；

将通过生成器生成的图像与单个残缺字符图像进行融合，在残缺字符图像待恢复区域填补上对应位置生成的图像，将融合后的图像送入对抗网络WGAN的判别器，得到是否是假的概率，作为第二部分损失函数；

将两部分的损失函数做加权和，作为整体的损失函数，通过梯度下降法优化全连接神经网络的权值，通过迭代优化的方式得到最终融合图像。

4.如权利要求3所述的一种图像中字符残缺部分的恢复方法，其特征在于，对残缺字符图像进行分割包括如下步骤：

对原始图像进行二值化处理，将字符部分与背景图像进行区分；

对二值化的图像进行边缘检测，再对边缘检测后的图像进行霍夫变换，获取字符部分的倾斜角，对其进行倾斜矫正；

对倾斜矫正的图像进行竖直方向投影，得到像素级的投影直方图，在投影直方图中寻找合适的阈值对原始图像进行分割，得到单个残缺字符图像。

5.如权利要求3所述的一种图像中字符残缺部分的恢复方法，其特征在于，对字符残缺部分进行检测，包括如下步骤：

1)先随机设定3个点作为初始聚类中心；

2)将每个点指派到最近的聚类中心，形成3个簇；

3)重新计算每个簇的聚类中心；

4)循环进行2)和3)操作，直至每个簇不发生变化或者达到最大迭代次数。