[发明专利]一种图表文档信息理解的方法及系统

权利要求书

1.一种图表文档信息理解的方法,其特征在于，包括：

采集初始图表文档，对所述初始图表文档进行分类，获得第一图表文档；对所述第一图表文档进行文本检测和识别，获得第二图表文档；对所述第二图表文档进行文本属性分类，获得目标图表文档；基于所述目标图表文档实现对图表文档信息的理解。

2.根据权利要求1所述的图表文档信息理解的方法，其特征在于，

对所述初始图表文档进行分类包括，基于深度神经网络融合SE模块、类别平衡技术，对所述初始图表文档进行特征提取，获得分类结果；基于所述分类结果对所述初始图表文档进行分类，获得所述第一图表文档。

3.根据权利要求1所述的图表文档信息理解的方法，其特征在于，

对所述第一图表文档进行文本检测和识别包括，构建多个检测头级联的神经网络，基于所述检测头级联的神经网络，获得所述第一图表文档的检测多方向矩形框；根据所述检测多方向矩形框，获得文本检测结果；将所述文本检测结果进行水平校正并切分文本行，送入基于CRNN网络的识别器，获得识别结果；基于所述识别结果对所述第一图表文档进行识别，获得所述第二图表文档。

4.根据权利要求3所述的图表文档信息理解的方法，其特征在于，

将所述文本检测结果进行水平校正并切分文本行包括，将所述文本检测结果进行图像块的二值化处理和膨胀腐蚀图像处理，然后利用霍夫变换直线检测计算文本区域的最小外接矩形，获得相应的倾斜角度；根据所述倾斜角度，对所述文本检测结果进行水平校正；对所述图像块进行水平或者竖直方向投影，根据设定阈值切分文本行，获得所述文本行的检测结果；将所述文本行的检测结果送入基于CRNN网络的识别器，获得识别结果。

5.根据权利要求3所述的图表文档信息理解的方法，其特征在于，

将所述文本行的检测结果送入基于CRNN网络的识别器，获得识别结果包括，构建基于主干网络为ResNet系列和BiLSTM时间序列模块的CRNN网络识别器，将所述文本行分别输入CTC模型和Attention模型，获得CTC模型识别结果和Attention模型识别结果；将所述CTC模型识别结果和所述Attention模型识别结果进行集成，获得所述识别结果。

6.根据权利要求1所述的图表文档信息理解的方法，其特征在于，

对所述第二图表文档进行文本属性分类包括，对所述第二图表文档进行文本编码，获得文本信息特征；通过对所述文本信息特征进行视觉特征信息融合后，基于自注意力机制进行匹配和分类，获得目标图表文档。

7.根据权利要求6所述的图表文档信息理解的方法，其特征在于，

所述编码包括语义信息编码、位置信息编码、角度信息编码、图表类型信息编码；

所述文本信息特征包括语义信息特征、位置信息特征、角度信息特征、图表类型信息特征；

所述语义信息编码包括字符嵌入层编码、句子嵌入层编码；

所述图表类型信息编码包括折线图嵌入层编码、条形图嵌入层编码、散点图嵌入层编码；

所述角度信息编码包括水平嵌入层编码、竖直嵌入层编码。

8.根据权利要求6所述的图表文档信息理解的方法，其特征在于，

对所述编码图表文档进行视觉特征信息融合包括第一融合操作、第二融合操作；

所述第一融合操作为将语义信息特征、位置信息特征，角度信息特征、图表类型信息特征、文本的视觉特征通过嵌入层映射到相同维度后，进行加和或拼接操作；

所述第二融合操作为将语义信息特征、位置信息特征通过预训练的LayoutLM模型得到多模态表征，文本的视觉特征通过全连接层映射到与多模态表征相同维度后，进行加和或拼接操作。

9.一种图表文档信息理解的系统，其特征在于，包括，

采集模块，用于采集初始图表文档；

第一分类模块，与所述采集模块连接，用于对所述初始图表文档进行分类，获得第一图表文档；

识别模块，与所述分类模块连接，用于对所述第一图表文档进行文本检测和识别，获得第二图表文档；

第二分类模块，与所述识别模块连接，用于对所述第二图表文档进行文本属性分类，获得目标图表文档；通过所述目标图表文档实现对图表文档信息的理解。