[发明专利]文本位置定位方法和系统以及模型训练方法和系统

说明书

提供了一种在图像中定位文本位置的方法，包括：获取预测图像样本；利用预先训练的基于深度神经网络的文本位置检测模型确定用于在预测图像样本中定位文本位置的最终的文本框，其中，文本位置检测模型包括特征提取层、候选区域推荐层、级联的多级文本框分支以及掩膜分支，特征提取层提取预测图像样本的特征以生成特征图，候选区域推荐层基于特征图在预测图像样本中确定预定数量个候选文本区域，级联的多级文本框分支基于特征图中与每个候选文本区域对应的特征来预测候选水平文本框，掩膜分支基于特征图中与候选水平文本框对应的特征来预测候选水平文本框中的文本的掩膜信息，并根据掩膜信息确定用于在预测图像样本中定位文本位置的最终的文本框。

本申请是申请日为2019年7月26日、申请号为201910682132.X、题为“文本位置定位方法和系统以及模型训练方法和系统”的专利申请的分案申请。

技术领域

本公开总体说来涉及人工智能领域，更具体地，涉及一种在图像中定位文本位置的方法和系统、以及训练文本位置检测模型的方法和系统。

背景技术

图像中的文本蕴含着丰富的信息，提取这些信息(即，文本识别)对图像所处场景的理解等具有重要意义。文本识别分为两个步骤：文本的检测(即，定位文本位置)和文本的识别(即，识别文本的内容)，两者缺一不可，而文本检测作为文本识别的前提条件，尤为关键。然而，复杂场景或自然场景下的文本检测效果常因为以下一些难点而使得文本检测效果较差：(1)拍摄角度不一，使文本存在变形的可能；(2)文本存在多个方向，可能存在水平文本和旋转文本；(3)文本尺寸大小不一，紧密程度不一，同一张图像同时存在长文本和短文本，排布紧密或松散。

近些年来，虽然人工智能技术的发展为图像中的文本识别技术提供了有利的技术支持，并且也出现了一些较为优秀的文本检测方法(例如，faster-rcnn、mask-rcnn、east、ctpn、fots、pixel-link等)，然而，这些文本检测方法的文本检测效果仍然较差。例如，faster-rcnn、mask-rcnn只支持水平文本的检测，而无法检测旋转文本；east、fots受限于网络的感受野，因此对长文本的检测效果不佳，会出现长文本头尾框不住的现象；ctpn虽然支持旋转文本检测但是旋转文本的检测效果较差；pixel-link遇到文本密集排布现象时，会把多行文本当成一个整体，文本检测效果仍然欠佳。

发明内容

本发明在于至少解决现有文本检测方式中存在的以上难点，以便提高文本位置检测效果。

根据本申请示例性实施例，提供了一种在图像中定位文本位置的方法，所述方法可包括：获取预测图像样本；利用预先训练的基于深度神经网络的文本位置检测模型确定用于在预测图像样本中定位文本位置的最终的文本框，其中，所述文本位置检测模型包括特征提取层、候选区域推荐层、级联的多级文本框分支以及掩膜分支，其中，特征提取层用于提取预测图像样本的特征以生成特征图，候选区域推荐层用于基于生成的特征图在预测图像样本中确定预定数量个候选文本区域，级联的多级文本框分支用于基于特征图中的与每个候选文本区域对应的特征来预测候选水平文本框，掩膜分支用于基于特征图中与候选水平文本框对应的特征来预测候选水平文本框中的文本的掩膜信息，并根据预测出的掩膜信息确定用于在预测图像样本中定位文本位置的最终的文本框。

根据本申请另一示例性实施例，提供了一种存储指令的计算机可读存储介质，其中，当所述指令被至少一个计算装置运行时，促使所述至少一个计算装置执行如上所述的在图像中定位文本位置的方法。

根据本申请另一示例性实施，提供了一种包括至少一个计算装置和存储指令的至少一个存储装置的系统，其中，所述指令在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行如上所述的在图像中定位文本位置的方法。