[发明专利]一种基于卷积注意力网络的自然场景文本识别方法

说明书

本发明公开了一种基于卷积注意力网络的自然场景文本识别方法，包括：利用二维卷积CNN作为编码器，提取输入图像的高层语义特征，并输出相应的特征图至解码器；利用一维卷积CNN作为解码器，结合注意力机制来整合编码器生成的高层语义特征与字符级语言模型，产生对应于输入图像的解码字符序列。该方法对于长度为n的序列，使用卷积核为s的CNN建模字符序列，仅需O(n/s)次操作即可得到长期依赖的表达，极大的降低了算法复杂度；此外，由于卷积操作的特征，CNN相比于RNN能够更好并行化，从而发挥GPU等资源的优势，更重要的是，通过叠加卷积层的方式得到的深层模型，可以提高更高层次的抽象表达，从而提高模型的准确率。

技术领域

本发明涉及自然场景图像中文本识别领域，尤其涉及一种基于卷积注意力网络的自然场景文本识别方法。

背景技术

随着手机平板等终端设备的不断普及，识别并理解包含文本的自然场景拍摄图像变得越来越重要。由于图像成像质量、复杂背景、噪声干扰等因素，自然场景文本识别面临巨大挑战。完整的端到端的自然场景文本识别一般包含两个阶段：文本检测阶段与文本识别阶段。文本检测阶段从整张图像中定位出文本的区域位置，文本识别阶段将仅包含文本的图像块转换为文本字符串。

目前，由于循环神经网络(Recurrent Neural Network,RNN)具备良好的语言建模能力，因而主流的图像文本识别方法为卷积神经网络(Convolutional Neural Network,CNN)与RNN相结合的方法。如方法(Shi,Baoguang,X.Bai,and C.Yao.An End-to-EndTrainable Neural Network for Image-based Sequence Recognition and ItsApplication to Scene Text Recognition.IEEE Transactions on Pattern AnalysisMachine Intelligence PP.99(2015):1-1.)采用在CNN的末端连接RNN层(具体为LSTM层)，并通过Connectionist Temporal Classification loss进行端到端的训练的方式做文本识别。又如方法(Lee,Chen Yu,and S.Osindero.Recursive Recurrent Nets withAttention Modeling for OCR in the Wild.(2016):2231-2239.)采用编码器-解码器的结构，结合注意力机制处理图像文本序列。

但是，上述方案中CNN作为编码器提取图像特征，RNN作为解码器产生字符序列。对于长度为n的序列，使用RNN建模字符序列，需要O(n)次操作才能得到长期依赖的表达，即算法复杂度较高。

发明内容

本发明的目的是提供一种基于卷积注意力网络的自然场景文本识别方法，不仅降低复杂度，还提高了识别准确率。

本发明的目的是通过以下技术方案实现的：

一种基于卷积注意力网络的自然场景文本识别方法，包括：

利用二维卷积CNN作为编码器，提取输入图像的高层语义特征，并输出相应的特征图至解码器；

利用一维卷积CNN作为解码器，结合注意力机制来整合编码器生成的高层语义特征与字符级语言模型，产生对应于输入图像的解码字符序列。

由上述本发明提供的技术方案可以看出，对于长度为n的序列，使用卷积核为s的CNN建模字符序列，仅需O(n/s)次操作即可得到长期依赖的表达，极大的降低了算法复杂度；此外，由于卷积操作的特征，CNN相比于RNN能够更好并行化，从而发挥GPU等资源的优势，更重要的是，通过叠加卷积层的方式得到的深层模型，可以提高更高层次的抽象表达，从而提高模型的准确率。

附图说明