[发明专利]面向法院判决文书的多尺度学习的文字识别方法及系统

说明书

本发明公开了一种面向法院判决文书的多尺度学习的文字识别方法及系统，包括：获取待识别的法院判决文书图像，提取印章区域；以目标RGB值差异最大为目标函数，以循环一致性损失为约束条件，基于对抗网络构建印章生成网络模型，采用训练后的印章生成网络模型对印章区域进行印章痕迹RGB值的转换，并删除转换后的印章区域的印章痕迹；对删除印章痕迹的法院判决文书图像进行特征提取，对得到的特征图分别进行全局目标检测和局部细节检测，将得到的文本候选框的掩码和渐进式掩膜合并后对构建的文本检测模型进行训练，以训练后的文本检测模型得到文字识别结果。有效解决文本图像中的印章痕迹遮挡问题和超长、超短文本的检测问题。

技术领域

本发明涉及光学字符识别技术领域，特别是涉及一种面向法院判决文书的多尺度学习的文字识别方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

随着平台式扫描仪和手机扫描的广泛应用，以及信息自动化和办公自动化的普及，目前可以通过拍摄照片直接进行图像上文字的识别。在司法系统中，各类案件繁杂，判决文书录入的工作尤为繁重。OCR技术能利用光学技术和计算机技术对文本资料的图像文件进行分析识别处理，获取文字信息，因此，针对法院判决文书扫描图像的OCR技术来实现文书的自动化录入，极大减少了人工录入成本，降低信息采集和录入的时间，有效解放人工录入的工作。

现有的OCR技术主要包括基于浅层学习模型的OCR技术和基于深度学习模型的OCR技术；然而，法院判决文书具有印章痕迹遮挡文字和存在超长、超短文本的问题。印章在法院判决文书中普遍存在，但印章痕迹在文本中会对文字造成遮挡；超长、超短文本指的是文本区域长宽比过大或过小问题，在一张法院判决文书图像中会存在多个超长和超短文本。这两个问题使现有的方法识别效果较差。

例如，由于光线和扫描设备的不同，当文书图像中印章痕迹的RGB值和文字的RGB值相近时，基于浅层学习模型的OCR技术很难通过颜色空间区分印章痕迹和文字；基于深度学习模型的OCR技术泛化性较差，对于存在多种长宽比的文本识别结果较差，对于基于深度学习模型的OCR技术来说，印章区域(即整幅图像中完整印章的带有一定内边距的外接矩形部分)占整幅法院判决文书图像比例太小，深度神经网络模型很难提取大量印章区域的特征，导致该区域识别结果较差；基于候选框的深度OCR方法对长宽比过小的文本敏感性较差，基于分割的深度OCR方法长宽比过大的文本敏感性较差，都不能较好的满足法院判决文书图像的识别要求。

对于如何去除文本中印章痕迹遮挡问题，已有的方法都是以颜色空间为出发点，通过边缘检测和阈值分割进行处理；该方法是无监督的方法，不需要训练学习，计算量小；然而对于印章痕迹颜色异常，甚至印章痕迹颜色和文字颜色相似的印章痕迹来说，现有方法的效果几乎等同于无。

在已有的检测方法中，深度方法相比于传统方法，普遍有更好的性能。在基于深度学习模型的OCR技术中，基于候选框的方法具有以下优点：(1)对于方向固定的本文具有较好的鲁棒性。(2)通过合并候选框的方式进行长宽比较大的文本进行识别；基于分割的方法具有可以识别任意形状文本的优点，对于长宽比较小的文本较为敏感。然而，该类方法只能处理单一问题，当文本中同时存在多种长宽比文本，特别是存在长宽比较大或较小的情况时，该类方法无法满足需求。

发明内容

为了解决上述问题，本发明提出了一种面向法院判决文书的多尺度学习的文字识别方法及系统，基于循环一致性损失和目标RGB值差异最大化提供印章转换方法，将印章区域中印章痕迹的RGB值转换为趋近于(255,0,0)，可通过阈值法删除印章痕迹的遮挡；同时结合全局目标检测和局部细节检测，基于多尺度细节学习指导构建文本检测模型，对文本图像中的文字进行识别。

为了实现上述目的，本发明采用如下技术方案：

第一方面，本发明提供一种面向法院判决文书的多尺度学习的文字识别方法，包括：

获取待识别的法院判决文书图像，提取印章区域；