[发明专利]一种文档图像中键值对信息的抽取方法、装置及系统

权利要求书

1.一种文档图像中键值对信息的抽取方法，所述文档图像包括多个由关键字和真值构成的键值对，输入信息包括：文档图像、文档图像中各文本块内的文字、每个文本块对应的位置坐标以及待抽取的实体类型名称，其特征在于，所述抽取方法包括以下步骤：

特征编码步骤，针对输入信息进行编码，输出图像+内容+坐标拼接特征向量和最终实体类型名称特征向量；

图像卷积步骤，以每个文字为节点，聚合相邻节点的图像+内容+坐标拼接特征向量，得到每个文字的文字特征向量；

任务推理步骤，基于每个文字的文字特征向量，按照实体类型对各文本块进行分类，同时基于最终实体类型名称特征向量和每个文字的文字特征向量，通过问答系统输出由所有实体类型和其所对应的文本块构成的键值对。

2.根据权利要求1所述的抽取方法，其特征在于，所述特征编码步骤具体包括：

针对所述文档图像、文档图像中各文本块内的文字、待抽取的实体类型名称以及每个文本块对应的位置坐标进行编码，得到文档图像特征向量、文本块内容特征向量、初步实体类型名称特征向量和文本块坐标特征向量；

拼接文档图像特征向量、文本块坐标特征向量以及文本块内容特征向量，得到图像+内容+坐标拼接特征向量；

将初步实体类型名称特征向量输入Transformer模型中，输出最终实体类型名称特征向量。

3.根据权利要求2所述的抽取方法，其特征在于，所述针对所述文档图像、文档图像中各文本块内的文字、待抽取的实体类型名称以及每个文本块对应的位置坐标进行编码，得到文档图像特征向量、文本块内容特征向量、初步实体类型名称特征向量和文本块坐标特征向量具体包括：

针对所述文档图像进行编码，得到文档图像特征向量；

针对文档图像中各文本块内的文字和待抽取的实体类型名称，分别输入预训练好的中文BERT模型，输出文本块内容特征向量和初步实体类型名称特征向量；

针对每个文本块对应的位置坐标进行编码，得到文本块坐标特征向量。

4.根据权利要求2所述的抽取方法，其特征在于，所述拼接文档图像特征向量、文本块坐标特征向量以及文本块内容特征向量，得到图像+内容+坐标拼接特征向量具体包括：

拼接文档图像特征向量和文本块坐标特征向量后输入ROIAlign模型中，输出文本块图像特征向量；

拼接文本块坐标特征向量和文本块内容特征向量后输入Transformer模型中，输出内容+坐标拼接特征向量；

拼接内容+坐标拼接特征向量和文本块图像特征向量，得到图像+内容+坐标拼接特征向量。

5.根据权利要求1所述的抽取方法，其特征在于，所述图像卷积步骤具体包括：

以文字作为节点，文字之间的链接关系代表图的边，根据各个节点的图像+内容+坐标拼接特征向量之间的欧式距离计算每一个节点与其他节点之间边的权重，获取一个软的图邻接矩阵；

根据所述软的图邻接矩阵，对相邻节点的图像+内容+坐标拼接特征向量进行加权聚合，得到聚合后的邻居节点特征；

针对某一节点的图像+内容+坐标拼接特征向量与聚合的邻居节点特征进行拼接；

采用多层感知机对拼接后的特征进行变换，得到每个文字的文字特征向量。

6.根据权利要求1所述的抽取方法，其特征在于，所述任务推理步骤具体包括两个并行处理的任务：

节点分类：将每个文字的文字特征向量输入经训练的线性神经网络构成的分类器中，输出N类待抽取的实体类型和“关键字”类别；

问答系统：拼接每个文字的文字特征向量，得到所有文本块组成的文章特征向量；将最终实体类型名称特征向量和所有文本块组成的文章特征向量分别作为问题和文章输入至问答系统；输出所有实体类型和其所对应的文本块构成的键值对。

7.根据权利要求1所述的抽取方法，其特征在于，所述问答系统为经训练的RoBERTa_wwm_ext_large模型；其中，所述RoBERTa_wwm_ext_large模型中，去除下一句预测任务，利用动态掩码替换静态掩码，并在文本编码阶段使用50265字符的词汇表，且没有对输入作任何额外的预处理或分词。