[发明专利]一种基于一致性正则训练的场景文本识别系统

说明书

本发明涉及一种基于一致性正则训练的场景文本识别系统，属于场景文本识别领域。整个系统包括三个分支，包括监督分支、无监督分支和域适应分支。本发明使用应用一致性正则化方法来训练更鲁棒和性能更好的STR模型。具体来说，STR模型接收两个未标记文本图像的增强视图作为输入，并强制它输出相同的结果。通过这种训练方式，模型可以利用大规模的未标签数据，学习变换不变特征。本发明在无监督分支的一条路径中添加了一个投影模块以防止模型崩溃的解决方案。考虑到训练数据和真实测试数据之间的巨大域差距，应用域适应损失来拉近合成带标签数据与真实无标签数据之间的字符级特征之间的距离。

技术领域

本发明属于场景文本识别领域，具体为一种基于一致性正则训练的场景文本识别系统。

背景技术

场景文本识别(STR)是对自然场景中的文本进行识别，是光学字符识别(OCR)的一种特殊形式。

在过去，手工制作的特征用于场景文本识别，例如定向梯度描述符的直方图、连通分量和笔画宽度变换。随着深度学习技术的快速发展，场景文本识别在创新性、实用性和效率等方面都有了很大的进步。场景文本识别有两个主要的类别，分别是为基于分割的方法和无需分割的方法。特别地，无需分割的方法大致可以分为基于连接时序分类(CTC)的方法和基于注意力的方法。

目前，由于卷积神经网络和注意力机制的应用，规则文本识别方法已经取得了良好的性能。与规则文本识别任务相比，由于环境的多重干扰、各种形状和扭曲的图案，不规则文本识别更加困难。

尽管深度学习方法在包括场景文本识别在内的许多计算机视觉任务中取得了巨大成功，但它对大数据的需求很大。除了真实的标记数据，合成标记数据也被广泛用于训练STR模型。合成数据和真实数据各有优缺点。真实数据有人工标注，但通常昂贵、耗时且体积小。合成数据是自动的和高效的，但是很难针对不同的任务设计一个好的合成数据引擎，合成数据和真实数据之间总是存在域差距。

考虑到在现实世界中更容易收集无标注的数据，许多研究人员打算利用无标签的数据来提高深度模型的性能。半监督方法可以在训练过程中将额外的无标签数据与标签数据结合起来，最常用的是自训练方法。与伪标签等自训练方法相比，UDA(UnsupervisedData Augmentation)等一致性正则化方法通常被认为更有效和高效。众所周知，一致性正则化方法在场景文本识别任务中还没有成功的应用。当将一致性正则化方法应用于STR模型时，发现模型崩溃严重，性能不佳。

发明内容

要解决的技术问题

为了解决上述问题，本发明提出非对称的无监督分支结构并结合域适应分支，有效提升了模型训练稳定性和最终性能。

技术方案

一种基于一致性正则训练的场景文本识别系统，其特征在于包括监督分支、无监督分支和域适应分支；所述的监督分支接受文本图像X^L作为输入，并计算学生模型的预测分布P^L和标注文本字符串Y^gt之间的交叉熵损失；所述的无监督分支通过弱数据增强和强数据增强将未标记的图像X^U分别转换为两个增强视图X^U1和X^U2；对于输入图像X^U1，教师模型输出预测分布P^U1；对于输入图像X^U2，学生模型输出预测分布P^U2；然后，将弱数据增强视图X^U1的预测分布P^U1作为目标，采用一致性正则化损失，迫使强数据增强视图X^U2的输出P^U2更接近P^U1；所述的域适应分支计算CORAL损失以对齐带标签数据和无标签数据的字符级特征；最后，计算上述三个损失的加权和，并用反向传播算法更新模型。

所述的学生模型和教师模型结构相同但是参数不同，均采用场景文本识别模型。