[发明专利]文档元素的识别方法、装置、设备及存储介质

说明书

本申请涉及计算机领域，特别涉及人工智能领域，提供了一种文档元素的识别方法、装置、设备及存储介质，本申请实施例可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景中。该方法包括：通过在相应的文档图像模板的元素显示区域填充新的元素数据，得到大量类似真实文档图像，解决了模型泛化性差的问题。在每轮训练中，基于训练样本集合，使用具有相同文档内容，且具有不同图像尺寸的两个文档图像进行多尺度预测，将小尺度的广视野优势与大尺度的边界定位优势相结合，获得第一文档图像的预测识别结果，再使用预测识别结果与相应的处理后的标注结果调整模型参数，解决了边界识别不精准的问题，提高了模型的文档元素识别准确率。

技术领域

本申请涉及计算机领域，特别涉及人工智能领域，提供了一种文档元素的识别方法、装置、设备及存储介质。

背景技术

在日常生活中，特别是工作办公时，常会遇到下载的文件为图像格式的情况，那么，为了获取到文本格式的文件，需要借助于文档格式转换工具，实现图片转文字的功能。

目前，先通过文档格式转换工具的文档元素识别算法，识别出图像上各文档元素的元素显示区域，再使用光学字符识别（Optical Character Recognition，OCR）、自然语言理解等方法识别相应区域的文字内容。

但是，因文档元素提取方法的精度较低，在处理包含图片、表格、边框线等细粒度文档元素的复杂文档图像时，难以准确划分出各元素显示区域，存在较多的边界重合区域，增加了OCR、自然语言理解方法的文字识别难度，提高了漏检、误检的风险，降低了文字识别效率与准确率。而且，文档元素识别算法的泛化能力差，无法满足通用文档场景中识别不同版式文档的需求。

发明内容

本申请实施例提供了一种文档元素的识别方法、装置、设备及存储介质，以解决识别方法泛化性差、文档元素识别准确率低的问题。

第一方面，本申请实施例提供了一种文档元素的识别方法，包括：

获取包含了真实文档图像与类似真实文档图像的训练样本集合，其中，每个类似真实文档图像，是在相应的文档图像模板的元素显示区域，填充新的元素数据得到的；

基于所述训练样本集合，以循环迭代方式进行模型训练，输出训练完毕的文档元素识别模型，其中，一轮训练过程如下：

基于所述训练样本集合，获得具有相同文档内容，且具有不同图像尺寸的第一文档图像和第二文档图像；

基于分别对所述第一文档图像和所述第二文档图像进行编解码处理后，获得的各候选识别结果，分别确定所述第一文档图像上各文档元素的元素显示区域及元素类别，获得相应的预测识别结果；

基于所述预测识别结果及相应的处理后的标注结果，调整所述文档元素识别模型的模型参数。

第二方面，本申请实施例还提供了一种文档元素的识别装置，包括：

样本获取单元，用于获取包含了真实文档图像与类似真实文档图像的训练样本集合，其中，每个类似真实文档图像，是在相应的文档图像模板的元素显示区域，填充新的元素数据得到的；

基于所述训练样本集合，以循环迭代方式进行模型训练，输出训练完毕的文档元素识别模型，其中，一轮训练过程如下：

处理单元，用于基于所述训练样本集合，获得具有相同文档内容，且具有不同图像尺寸的第一文档图像和第二文档图像；

基于分别对所述第一文档图像和所述第二文档图像进行编解码处理后，获得的各候选识别结果，分别确定所述第一文档图像上各文档元素的元素显示区域及元素类别，获得相应的预测识别结果；

参数调整单元，用于基于所述预测识别结果及相应的处理后的标注结果，调整所述文档元素识别模型的模型参数。