[发明专利]一种图像文档的文本抽取方法、装置及电子设备

权利要求书

1.一种图像文档的文本抽取方法，其特征在于，包括：

通过光学字符识别模型对图像文档进行识别，包括对图像文档进行倾斜校正、文字检测、文字识别和表格识别，得到文字信息、图像信息、坐标信息和表格信息；

根据所识别的信息生成组合向量，包括：根据文字信息得到词嵌入和位置嵌入，根据图像信息得到字符图像嵌入，根据坐标信息得到坐标嵌入，根据表格信息得到表格信息嵌入，组合得到所述组合向量；

将所述组合向量输入文本抽取模型进行文本抽取，获得结构化信息；

其中，根据联合损失函数对所述光学字符识别模型以及文本抽取模型进行训练优化，所述联合损失函数包括对图像文档进行识别的损失和文本抽取的损失；

按照下述方式计算所述联合损失函数：

；

其中，为对图像文档进行识别的损失，为文本抽取的损失，为预设的系数。

2.根据权利要求1所述的方法，其特征在于，所述对图像文档进行识别的损失包括文字识别的损失和表格识别的坐标损失。

3.一种图像文档的文本抽取装置，其特征在于，包括：

识别模块，用于通过光学字符识别模型对图像文档进行识别，所述识别模块包括倾斜校正模块、文字检测模块、文字识别模块和表格识别模块，得到文字信息、图像信息、坐标信息和表格信息；

向量生成模块，用于根据所识别的信息生成组合向量，所述向量生成模块根据文字信息得到词嵌入和位置嵌入，根据图像信息得到字符图像嵌入，根据坐标信息得到坐标嵌入，根据表格信息得到表格信息嵌入，组合得到所述组合向量；

抽取模块，用于将所述组合向量输入文本抽取模型进行文本抽取，获得结构化信息；

训练模块，用于根据联合损失函数对所述光学字符识别模型以及文本抽取模型进行训练优化，所述联合损失函数包括对图像文档进行识别的损失和文本抽取的损失；

训练模块按照下述方式计算所述联合损失函数：

；

其中，为对图像文档进行识别的损失，为文本抽取的损失，为预设的系数。

4.根据权利要求3所述的装置，其特征在于，所述对图像文档进行识别的损失包括文字识别的损失和表格识别的坐标损失。

5.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有多条指令，所述处理器用于读取所述多条指令并执行如权利要求1或2所述的方法。

6.一种计算机可读存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述多条指令可被处理器读取并执行如权利要求1或2所述的方法。