[发明专利]字符识别方法及装置

权利要求书

1.一种字符识别方法，其特征在于，所述方法包括：

将待识别图像输入到已训练的字符识别模型，以由本字符识别模型通过字符定位网络在所述待识别图像中定位字符关键点，并输出到本字符识别模型中的字符矫正网络，以由所述字符矫正网络在所述待识别图像中利用所述字符关键点和预设位置点的对应关系确定所述待识别图像中的字符区域对应的矫正图像，并输出所述矫正图像给本字符识别模型中的字符识别网络识别所述矫正图像中的字符；

所述字符识别网络识别所述矫正图像中的字符，包括：通过本字符识别网络中的卷积神经网络提取所述矫正图像的特征，并输出给本字符识别网络中的循环神经网络；所述循环神经网络对所述特征进行加权编码，并输出加权编码后的特征给本字符识别网络中的解码网络；所述解码网络对所述加权编码后的特征解码得到至少一个特征序列，并输出所述至少一个特征序列给本字符识别网络中的分类层；所述分类层对每个特征序列进行分类，以得到每个特征序列对应的字符内容；

获取所述字符识别模型输出的字符识别结果。

2.根据权利要求1所述的方法，其特征在于，字符定位网络在所述待识别图像中定位字符关键点，包括：

通过本字符定位网络中的特征提取网络提取所述待识别图像的特征，并输出给本字符定位网络中的关键点回归网络；

所述关键点回归网络利用提取的特征进行字符关键点提取。

3.根据权利要求1所述的方法，其特征在于，所述字符矫正网络在所述待识别图像中利用所述字符关键点和预设位置点的对应关系确定所述待识别图像中的字符区域对应的矫正图像，包括：

依据所述字符关键点和预设位置点的对应关系确定对应的薄板样条函数TPS变换矩阵，所述字符关键点的个数与所述预设位置点的个数一致；

创建一个空白的矫正图像；

针对所述矫正图像中的每个位置点，利用所述TPS变换矩阵确定该位置点在所述待识别图像中对应的坐标点，并利用所述坐标点附近像素点的像素值插值得到矫正像素值，并将所述矫正像素值填充到所述矫正图像中的该位置点上。

4.根据权利要求1所述的方法，其特征在于，所述字符识别模型通过如下方式训练：

获取包含字符的训练样本；

利用所述训练样本训练对所述字符识别模型进行端到端训练，直至训练次数达到预设次数，停止训练。

5.一种字符识别装置，其特征在于，所述装置包括：

字符识别模块，用于将待识别图像输入到已训练的字符识别模型，以由本字符识别模型通过字符定位网络在所述待识别图像中定位字符关键点，并输出到本字符识别模型中的字符矫正网络，以由所述字符矫正网络在所述待识别图像中利用所述字符关键点和预设位置点的对应关系确定所述待识别图像中的字符区域对应的矫正图像，并输出所述矫正图像给本字符识别模型中的字符识别网络识别所述矫正图像中的字符；

所述字符识别模块，具体用于在所述字符识别网络识别所述矫正图像中的字符过程中，通过本字符识别网络中的卷积神经网络提取所述矫正图像的特征，并输出给本字符识别网络中的循环神经网络；所述循环神经网络对所述特征进行加权编码，并输出加权编码后的特征给本字符识别网络中的解码网络；所述解码网络对所述加权编码后的特征解码得到至少一个特征序列，并输出所述至少一个特征序列给本字符识别网络中的分类层；所述分类层对每个特征序列进行分类，以得到每个特征序列对应的字符内容；

获取模块，用于获取所述字符识别模型输出的字符识别结果。

6.根据权利要求5所述的装置，其特征在于，所述字符识别模块，具体用于在字符定位网络在所述待识别图像中定位字符关键点过程中，通过本字符定位网络中的特征提取网络提取所述待识别图像的特征，并输出给本字符定位网络中的关键点回归网络；所述关键点回归网络利用提取的特征进行字符关键点提取。