[发明专利]基于全局特征指导的二维注意力机制文本识别方法

权利要求书

1.一种基于全局特征指导的二维注意力机制文本识别方法，其特征在于步骤如下：

步骤1：将输入图片尺寸调整到48×160×3大小；

步骤2：将调整后的图片输入到定制版的ResNet34网络，去掉ResNet34网络最后的两层即平均池化层和全连接层，得到网络输出的原始特征图，原始特征图大小为6×20×512；所述的定制版的ResNet34是针对文字识别任务特殊改造的：将第一层卷积从7x7的卷积核修改为3x3的卷积核，将所有的2x2的最大池化层都修改为2x1的最大池化层；

步骤3：对步骤2得到的原始特征图进行1x1卷积，进行通道的改变，特征图大小变为6×20×1024；此特征图代表了整张图片的文字内容信息，所有的文字的信息分布在这个特征图的不同位置；

步骤4：将原始特征图通过6层的Bottleneck、全局池化以及一个全连接层，提取一个全局特征，其尺寸为1×1×512；此全局特征代表整张图片，它把所有文字的特征都融合在了一起；

步骤5：解码器的解码过程是串行的，也就是说是一个字一个字来进行识别的。在识别第一个文字时，首先将开始字符进行编码成1×512的特征，然后将其和位置0的位置编码特征1×512相加，形成一个带有位置信息的字符特征；然后再和步骤4得到的全局特征进行拼接，得到第一个1×1024大小的查询特征；

步骤6：通过步骤5得到的查询特征，在步骤3得到的特征图上进行比对查找第一个需要识别的文字；解码器通过计算查询特征和特征图中每一个特征的相关性，得到一个相关性的系数图，使用该相关性系数图对特征图进行求加权和，得到一个的特征；将此特征送入一个两层的前馈网络进行特征的进一步变换，最终经过分类层进行分类；分类成功后，对应位置的文字便是第一个识别的文字；

步骤7：之后每个需要识别的文字，都是通过前一个文字以及其位置编码信息进行结合，一起送进解码器作为新的查询特征；然后通过与步骤6类似的步骤，逐个解码出每一个文字，直到识别出来的文字是结束符则停止解码。

2.根据权利要求1所述的一种基于全局特征指导的二维注意力机制文本识别方法，其特征在于步骤1使用双线性插值的方法调整图像尺寸。