[发明专利]扭曲文字行的矫正方法及装置、字符识别方法及装置

权利要求书

1.一种扭曲文字行的矫正方法，包括：

接收待识别的文档图像；

确定所述文档图像中扭曲文字行的形变曲线；

利用所述形变曲线对所述文档图像中扭曲文字行进行拉直处理，以对拉直处理后的所述文档图像进行识别；

所述确定所述文档图像中扭曲文字行的形变曲线之前，还包括：建立包含视觉几何组VGG卷积神经网络、BLSTM层以及长短时记忆神经网络LSTM层的计算模型，并对所述计算模型进行训练；

所述确定所述文档图像中扭曲文字行的形变曲线，包括：利用所述计算模型估算所述文档图像中扭曲文字行的形变曲线的参数。

2.根据权利要求1所述扭曲文字行的矫正方法，其特征在于，所述确定所述文档图像中扭曲文字行的形变曲线，包括：

利用卷积神经网络CNN和双向长短时记忆神经网络BLSTM估算所述文档图像中扭曲文字行的形变曲线的参数。

3.根据权利要求1所述扭曲文字行的矫正方法，其特征在于，所述利用所述计算模型估算所述文档图像中扭曲文字行的形变曲线的参数，包括：

将所述文档图像缩放之后输入所述计算模型进行前向计算，得到所述文档图像中扭曲文字行的形变曲线的控制点的位置参数。

4.根据权利要求3所述的扭曲文字行的矫正方法，其特征在于，所述对所述计算模型进行训练，包括：

将样本数据输入所述计算模型，使用随机梯度下降法SGD进行训练；

其中，所述样本数据包括文档图像及其扭曲文字行的形变曲线的控制点位置参数的目标值。

5.根据权利要求4所述扭曲文字行的矫正方法，其特征在于，

所述对所述计算模型进行训练，包括：通过多次执行如下过程最小化形变曲线的控制点位置参数的预测值与目标值的差距：

将文档图像缩放到预定大小之后，输入所述计算模型，所述计算模型的VGG卷积神经网络提取特征图并输出到所述BLSTM层；

所述BLSTM层对所述特征图处理之后，输出到所述LSTM层进行解码，得到所述文档图像中扭曲文字行的形变曲线的控制点位置参数的预测值并输出到SmoothL1 Loss层；

SmoothL1 Loss层计算所述形变曲线的控制点位置参数的预测值与样本数据中目标值的差距。

6.根据权利要求1所述扭曲文字行的矫正方法，其特征在于，所述确定所述文档图像中扭曲文字行的形变曲线，包括：

估算所述文档图像中扭曲文字行的形变曲线的控制点的位置参数；

基于所述控制点的位置参数，得到所述文档图像中扭曲文字行的形变曲线上点的位置参数。

7.根据权利要求1所述扭曲文字行的矫正方法，其特征在于，所述确定所述文档图像中扭曲文字行的形变曲线，包括：

通过对所述文档图像进行二值化，估算所述文档图像中扭曲文字行的形变曲线上点的位置参数。

8.根据权利要求1所述扭曲文字行的矫正方法，其特征在于，所述利用所述形变曲线对所述文档图像中扭曲文字行进行拉直处理，包括：

按照预先设定的像素尺度将所述形变曲线离散成线段，将所述线段组成多边形，将所述多边形使用仿射变换映射到水平文字行的四边形。

9.根据权利要求1至8任一项所述扭曲文字行的矫正方法，其特征在于：所述形变曲线为B样条曲线。

10.一种字符识别方法，包括：

接收待识别的文档图像；

建立包含视觉几何组VGG卷积神经网络、双向长短时记忆神经网络BLSTM层以及长短时记忆神经网络LSTM层的计算模型，并对所述计算模型进行训练；

利用所述计算模型估算所述文档图像中扭曲文字行的形变曲线的参数；

利用所述文档图像中扭曲文字行的形变曲线对所述文档图像中的扭曲文字行进行拉直处理；

对拉直处理后的所述文档图像进行识别。