[发明专利]单据要素抽取方法、装置、设备及存储介质

说明书

本发明实施例涉及图像识别技术领域，提供了一种单据要素抽取方法、装置、设备及存储介质。该单据要素抽取方法包括：获取单据图片的文本片段和文本片段对应的位置信息，根据位置信息确定文本片段的图像侧特征向量；将图像侧特征向量、文本片段的词嵌入向量及文本片段的图嵌入向量进行拼接，获取连续的文本序列；对所述连续的文本序列进行重排序，获取符合阅读顺序的文本序列。本发明实施例提供的单据要素抽取方法、装置、设备及存储介质，可以有效补充单据图片识别中损失的文本信息，提高要素抽取的完整性。

技术领域

本发明涉及图像识别技术领域，尤其涉及一种单据要素抽取方法、装置、设备及存储介质。

背景技术

单据可以为制式单据或非制式单据，其中，非制式单据指的是没有明确格式的非结构化单据。在实际应用中，来自不同地区不同机构的单据格式往往高度个性化，各式各样，而且时常是以图片的形式存在，当需要人工审核时需要耗费较高的时间和精力。因此，如何自动从单据中提取预定义的要素信息是信息结构化表示和信息智能处理的必要步骤和核心技术。

现有的单据要素抽取方法主要是对单据图片进行光学字符识别(OpticalCharacter Recognition，简称OCR)，然后将识别结果按照从上到下从左到右的顺序进行拼接，将拼接结果作为要素抽取结果，但是这种方法通常无法获取完整的要素抽取结果并且要素值容易被切断。

发明内容

本发明实施例的目的是提供一种单据要素抽取方法、装置、设备及存储介质，用以解决传统单据要素抽取方法无法获取完整的要素抽取结果且要素值容易被切断的问题。

第一方面，本发明实施例提供单据要素抽取方法，包括：

获取单据图片的文本片段和所述文本片段对应的位置信息，根据所述位置信息确定所述文本片段的图像侧特征向量；

将所述图像侧特征向量、所述文本片段的词嵌入向量及所述文本片段的图嵌入向量进行拼接，获取连续的文本序列；

对所述连续的文本序列进行重排序，获取符合阅读顺序的文本序列。

优选地，所述根据所述位置信息确定所述文本片段的图像侧特征向量，具体包括：

获取单据图片的特征图，根据所述位置信息确定所述文本片段在所述特征图上对应区域的信息特征；

对所述信息特征进行池化处理，确定用于表征所述文本片段的图像信息的图像侧特征向量。

优选地，所述将所述图像侧特征向量、所述文本片段的词嵌入向量及所述文本片段的图嵌入向量进行拼接，具体包括：

若所述文本片段包括多个单词，则对每一所述单词拼接相同的图像侧特征向量和图嵌入向量。

优选地，所述对所述连续的文本序列进行重排序，获取符合阅读顺序的文本序列，具体包括：

通过重排序模型，对所述连续的文本序列进行重排序，获取符合阅读顺序的文本序列。

优选地，所述重排序模型包括BiLSTM层、自注意力层和指针网络层；对应的，所述通过重排序模型，对所述连续的文本序列进行重排序，获取符合阅读顺序的文本序列，具体包括：

将连续的文本序列输入所述BiLSTM层，确定所述文本片段的上下文特征；

将所述上下文特征输入所述自注意力层，确定各单词的权重；

将所述上下文特征及所述各单词的权重输入所述指针网络层，由所述指针网络层输出所述符合阅读顺序的文本序列。

优选地，所述对所述连续的文本序列进行重排序，还包括：在所述重排序模型的训练过程中，使用交叉熵损失函数进行训练。

优选地，所述获取单据图片的文本片段和所述文本片段对应的位置信息具体包括：