[发明专利]一种票证识别的方法

说明书

本发明公开了一种票证识别的方法，涉及文本检测、文本识别与信息结构化提取技术领域，解决了现有模型不能有效提取结构化信息的技术问题，其技术方案要点是通过对CTPN网络进行训练得到文本行位置检测模型，从而对票证中的关键信息进行定位，且对各种形式(表格等)的票证具有鲁棒性；通过高频词及其中特定字段文本内容的规则合成数据，扩充了文本识别模型的训练数据，提升了识别模型的准确性；基于卷积神经网络，具有很好的并行性，可以利用高性能的GPU(Graphics Processing Unit，图形处理器)加速计算。

技术领域

本公开涉及文本检测、文本识别与信息结构化提取技术领域，尤其涉及一种票证识别的方法。

背景技术

票证识别指的是对日常生活中常见的发票、身份证、银行卡等不同领域中含有文字信息的图像进行识别并提取其中结构化信息的技术。由于票证包含的领域众多，票证的格式繁杂，给识别与结构化提取带来了诸多困难。

票证结构化识别任务可以被细分为文本检测、文本识别等多个领域内的研究任务。当前文本检测领域的主要方法是将深度学习中目标检测或分割算法与文字检测任务相结合得到，如EAST，该算法采用了语义分割常用的FCN(Fully Convolutional Networks，全卷积网络)结构，实际上还是基于回归的思想对文字框参数进行回归，借助了FCN的架构完成特征提取和特征融合的操作，然后EAST模型在图像中的每个位置预测一组文本行的回归参数，最后使用非极大值抑制操作即可提取输入图像中的文字行。该方法极大地简化了文字检测的流程，但是目前相似的方法仍存在对长文本检测效果不佳、小文本区域检测能力差的问题，而这些问题正是票证识别中较为关键的问题。

当前文本识别领域内的方法主要有字符识别和序列识别两种。使用字符识别方法进行文字识别时，首先需要从图像中分割出单个字符，再通过分类器对单个字符图像进行分类，最后合并成文本行级别的识别结果；而基于序列识别的文本识别算法将整个文本行作为识别的最小单元，以自动对齐的方式完成对整个文字序列的识别，同时引入了自然语言处理的Seq2Seq模型和注意力机制来提高识别效果。但这两种方法都存在各自的问题，字符识别方法需要字符级别的监督信息，所以需要大量的标注工作；基于序列识别的方法的鲁棒性受训练数据的影响很大，对于背景复杂的图像和相似的字符容易出现错误识别。

因此，对于票证结构化识别的任务，当前方法没有考虑到对信息结构化的提取问题，识别得到的杂乱信息并不能直接用于后续的工作，所以针对以上问题还有待研究解决。

发明内容

本公开提供了一种票证识别的方法，其技术目的是针对票证中的图像风格不一、表格格式不统一、印刷不清晰等问题，建立一个能有效提取结构化信息的模型。

本公开的上述技术目的是通过以下技术方案得以实现的：

一种票证识别的方法，模型训练过程和文本识别过程，所述模型训练过程包括：

S100：收集用于文本行检测与文本图像识别的数据；其中，所述数据包括文本行图像；

S101：收集在各类票证场景下出现的高频词，通过所述高频词建立关键词数据库，并统计所述高频词中特定字段文本内容的规则，根据所述高频词和所述规则随机生成扩充数据；

S102：通过所述文本行图像对CTPN网络进行训练，得到文本行位置检测模型；

S103：通过所述数据和所述扩充数据对识别网络进行训练，得到带有自注意力机制的文本识别模型；

所述文本识别过程包括：

S200:将票证的图像输入到文本行位置检测模型，所述文本行位置检测模型对票证中的文本行位置进行检测，输出检测到文本行位置的文本图像；