[发明专利]识别文字的方法和装置

权利要求书

1.一种识别文字的方法，方法包括：

获取输入图像的文字区域的以下图像：文字中心线图、文字方向偏移图、文字边界偏移图、文字字符分类图；

从文字中心线图中提取字符中心的特征点的坐标；

基于文字方向偏移图，排序所述字符中心的特征点的坐标，得到所述字符中心的特征点的坐标序列；

根据所述字符中心的特征点的坐标序列和所述文字边界偏移图，确定所述文字区域的多边形包围框；

根据所述字符中心的特征点的坐标序列和所述文字字符分类图，确定所述字符中心的特征点的分类结果。

2.根据权利要求1所述的方法，其中，所述基于文字方向偏移图，排序所述字符中心的特征点的坐标，得到所述字符中心的特征点的坐标序列，包括：

基于文字方向偏移图，计算文字阅读方向；

根据文字阅读方向，排序所述字符中心的特征点的坐标，得到所述字符中心的特征点的坐标序列。

3.根据权利要求1所述的方法，其中，所述方法还包括：

基于所述多边形包围框和所述字符中心的特征点的分类结果，解码得到文字区域的识别结果。

4.根据权利要求1所述的方法，其中，所述获取输入图像的文字区域的以下图像：文字中心线图、文字方向偏移图、文字边界偏移图、文字字符分类图，包括：

采用主干卷积网络，获取输入图像的卷积特征图；

采用多分支卷积网络，从所述卷积特征图中分别提取文字中心线图、文字方向偏移图、文字边界偏移图、文字字符分类图。

5.根据权利要求4所述的方法，其中，所述多分支卷积网络包括以下至少一项：

以所述卷积特征图为输入，以文字中心线图为输出，采用Dice系数损失函数监督学习的第一分支卷积网络；

以所述卷积特征图为输入，以文字边界偏移图为输出，采用smooth L1损失函数监督学习的第二分支卷积网络；

以所述卷积特征图为输入，以文字方向偏移图为输出，采用smooth L1损失函数监督学习的第三分支卷积网络；

以所述卷积特征图为输入，以文字字符分类图为输出，采用点采集-联结主义时间分类损失函数监督学习的第四分支卷积网络。

6.根据权利要求1或4所述的方法，其中，所述方法还包括以下至少一项：

所述从文字中心线图中提取字符中心的特征点的坐标，包括：采用预先训练的提取模块从文字中心线图中提取字符中心的特征点的坐标；

所述基于文字方向偏移图，排序所述字符中心的特征点的坐标，得到所述字符中心的特征点的坐标序列，包括：采用预先训练的排序模块，基于文字方向偏移图，排序所述字符中心的特征点的坐标，得到所述字符中心的特征点的坐标序列；

所述根据所述字符中心的特征点的坐标序列和所述文字边界偏移图，确定所述文字区域的多边形包围框，包括：采用包围框拾取模块，基于所述字符中心的特征点的坐标序列，从所述文字边界偏移中，确定文字区域的多边形包围框；以及

所述根据所述字符中心的特征点的坐标序列和所述文字字符分类图，确定所述字符中心的特征点的分类结果，包括：采用字符分类模块，基于所述字符中心的特征点的坐标序列，从文字字符分类图中，确定所述字符中心的特征点的分类结果。

7.根据权利要求3所述的方法，其中，所述方法还包括：

推理所述文字区域的识别结果中的语义信息；

基于所述语义信息，对所述识别结果进行调整，得到调整后的识别结果。

8.根据权利要求7所述的方法，其中，所述推理所述文字区域的识别结果中的语义信息，包括：

基于所述字符中心的特征点的坐标序列，从文字字符分类图中进行点采集，得到所述字符中心的特征点的语义特征点；

将所述语义特征点作为语义节点，将基于所述语义特征点之间的距离所确定的所述语义特征点之间的语义邻接关系作为边连接，构建语义图。