[发明专利]倾斜文本检测模型训练方法和票证图像文本检测方法

说明书

本发明公开了一种倾斜文本检测模型训练方法和票证图像文本检测方法，该训练方法应用于包括第一网络单元、第二网络单元和第三网络单元的倾斜文本检测模型，其中，所述倾斜文本检测模型的文本训练，包括：将已标注的票证图像通过第一网络单元进行特征提取以获取特征图，并获取所述特征图中各像素点的水平候选框；对各水平候选框进行第一阶段回归并通过第二网络单元输出最小水平外接矩形建议框；将各最小水平外接建议框进行第二阶段回归。根据本发明的技术方案，可以实现对票证图像中的倾斜文本进行文本区域的检测，并且能在真实样本量不足时也能达到较高准确率，鲁棒性强等。

技术领域

本发明涉及文本检测技术领域，尤其涉及一种倾斜文本检测模型训练方法和票证图像文本检测方法。

背景技术

随着智能手机技术的发展，用户在办理金融保险业务时使用手机拍摄各类票据、证照(如房产证等)上传作为业务凭证越来越流行，通过OCR技术识别所拍摄图片中的文字信息用于信息录入或信息审核比对可以提高效率降低成本，提升用户体验。在现有OCR技术框架中，文本检测是关键一环。

然而由于手机拍摄图片容易出现倾斜、透视变换、模糊等问题，票证图片中的倾斜文本检测具有较大挑战。传统的倾斜文本检测方法一方面需要复杂的多步骤处理，比如基于图像处理的方法，由于图片情况各异，需要反复调整参数阈值，鲁棒性差；另一方面则需要较大的训练样本量，比如基于深度学习的某些方法，当真实样本不足时采用基于图像变换的数据增广策略扩充训练样本，然而在如房产证等实际票证场景中识别效果并不好。

发明内容

鉴于上述问题，本发明提出一种倾斜文本检测模型训练方法和票证图像文本检测方法，可解决现有文本检测模型的准确率不高及真实样本较少时需要进行样本扩充处理等难题。

本发明一实施例提出一种倾斜文本检测模型训练方法，应用于包括第一网络单元、第二网络单元和第三网络单元的倾斜文本检测模型，其中，所述倾斜文本检测模型的文本训练，包括：

将已标注的票证图像通过所述第一网络单元进行特征提取以获取特征图，并对所述特征图中每一像素点生成初始水平候选框，将各像素点的初始水平候选框经过筛选处理后得到水平候选框；

对各水平候选框进行第一阶段回归以获取每一水平候选框的第一标签，并将各水平候选框通过所述第二网络单元进行区域建议以输出每一水平候选框的类别预测和对应的第一预测偏移量，根据各水平候选框和所述第一预测偏移量计算及输出所述票证图像的最小水平外接建议框；

对各最小水平外接建议框进行第二阶段回归以获取每一最小水平外接建议框的第二标签，并将所述特征图与各最小水平外接建议框通过所述第三网络单元进行区域预测以输出每一最小水平外接建议框的预测类别和对应的第二预测偏移量及第三预测偏移量；

根据所述第一标签和所述第二标签设计目标损失函数，并利用预定数量的训练样本对所述倾斜文本检测模型进行迭代训练。

进一步地，所述第一标签包括水平候选框的类别标签和第一偏移量标签，所述“对各水平候选框进行第一阶段回归以获取每一水平候选框的第一标签”包括：

获取所述已标注的票证图像中各文本区域的人工标注旋转矩形框并计算每一旋转矩形框对应的最小水平外接矩形框；

分别计算当前的水平候选框与各最小水平外接矩形框的第一重叠系数，并根据所述第一重叠系数和第一组预设阈值的大小确定所述当前的水平候选框的类别标签，所述类别标签包括前景类和背景类；

将与所述当前的水平候选框的第一重叠系数最大的最小水平外接矩形框作为第一参考候选框，并计算所述当前的水平候选框与所述第一参考候选框的第一偏移量标签。

进一步地，所述第二标签包括最小水平外接建议框的类别标签、第二偏移量标签和第三偏移量标签，所述“对各最小水平外接建议框进行第二阶段回归以获取每一最小水平外接建议框的第二标签”包括：