[发明专利]图像文本识别方法及装置

权利要求书

1.一种图像文本识别方法，其特征在于，所述方法包括：

将待识别图像输入图像文本识别模型，所述待识别图像包括至少两个按照预设排布顺序排布的待识别文本字符，所述图像文本识别模型由编码单元、启动单元和解码单元构成，所述启动单元用于确定所述待识别图像中按照所述预设排布顺序的首个待识别文本字符所在的区域；

获取所述图像文本识别模型输出的识别文本字符序列。

2.根据权利要求1所述的方法，其特征在于，所述图像文本识别模型由如下方法训练得到：

将训练图像输入待训练图像文本识别模型中，得到所述启动单元确定的首字符注意力区域，所述训练图像包括至少两个按照所述预设排布顺序排布的训练文本字符，所述待训练图像文本识别模型由所述编码单元、所述启动单元和所述解码单元构成，所述首字符注意力区域为所述启动单元确定的所述预设排布顺序的首个训练文本字符在所述训练图像中的区域；

利用所述首字符注意力区域和所述训练图像的首字符文本区域标识，训练所述待训练图像文本识别模型，得到图像文本识别模型，所述首字符文本区域用于标识所述训练文本字符中按照所述预设排布顺序排布的首个训练文本字符所在的文本区域。

3.根据权利要求2所述的方法，其特征在于，所述启动单元用于基于输入的起始符号和图像特征向量，确定首字符注意力区域并生成第一特征矢量，所述图像特征向量由所述编码单元基于所述训练图像生成，所述第一特征矢量用于输入所述解码单元进行解码。

4.根据权利要求3所述的方法，其特征在于，所述启动单元由解码器构成，所述解码器包括嵌入层和多头注意力层，所述嵌入层用于对输入的所述起始符号编码，得到第二特征矢量，所述多头注意力层用于基于输入的所述第二特征矢量和所述图像特征向量确定首字符注意力区域。

5.根据权利要求4所述的方法，其特征在于，所述首字符注意力区域基于注意力热力图确定，所述训练图像的首字符文本区域标识采用首字符文本区域分布图表示。

6.根据权利要求2所述的方法，其特征在于，所述利用所述首字符注意力区域和所述训练图像的首字符文本区域标识，训练所述待训练图像文本识别模型，包括：

利用所述首字符注意力区域和所述训练图像的首字符文本区域标识计算损失函数；

利用所述损失函数调整所述启动模型的模型参数。

7.根据权利要求6所述的方法，其特征在于，所述损失函数为Sliced Wasserstein距离。

8.一种图像文本识别装置，其特征在于，所述装置包括：

输入单元，用于将待识别图像输入图像文本识别模型，所述待识别图像包括至少两个按照预设排布顺序排布的待识别文本字符，所述图像文本识别模型由编码单元、启动单元和解码单元构成，所述启动单元用于确定所述待识别图像中按照所述预设排布顺序排布的首个待识别文本字符所在的区域；

获取单元，用于获取所述图像文本识别模型输出的识别文本字符序列。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。

10.一种计算机可读介质，其特征在于，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。