[发明专利]一种图表文档信息理解的方法及系统

说明书

本发明公开了一种图表文档信息理解的方法及系统，包括：采集初始图表文档，对所述初始图表文档进行分类，获得第一图表文档；对所述第一图表文档进行文本检测和识别，获得第二图表文档；对所述第二图表文档进行文本属性分类，获得目标图表文档；基于所述目标图表文档实现对图表文档信息的理解。本发明提出的图表文档信息理解的方法及系统，可以有效对图表文档进行分类，文本检测和识别，以及文本属性分类，对于机器自动化提取、分析、理解图表文档内容信息有重大的作用和意义。

技术领域

本发明涉及模式识别与人工智能技术领域，特别是涉及一种图表文档信息理解的方法及系统。

背景技术

图表作为一种特殊的文档表现形式，常嵌入到社会科学、自然科学的文章中，用来简洁扼要的表达数据、逻辑、方法流程等。近年来，文档的数字化需求越来越多，技术也日趋成熟。其中，图表的自动化识别和理解更是关键的一环，然而常常由于其复杂多样的版面、丰富的表达形式而难以进行自动化的机器理解。

对于图表文档的分类、文字检测和识别、文本属性的分类，现有的方法大多是通过组合基于传统方法的独立技术模块。这些算法的不足之处是需要手工对模型的多个超参数做数据集的适应性调整，也就是说针对不同的图表文档，需手工调整超参数来保证模型的检测效果。

近年来，基于深度学习的方法在图表文档的分类、文字检测和识别、文本属性的分类等任务上取得一定的进展，但是现有的方法对多种图表文档的鲁棒性和精度较差。

发明内容

本发明的目的是提供一种图表文档信息理解的方法及系统，以解决上述现有技术存在的问题。本发明的方法能适应图表文档的多种版面形式，如折线图、散点图、条形图、饼图等，有较好的鲁棒性，达到更高的精度。检测精度高，能够实现对多种复杂古籍文献进行文字精确检测。

为实现上述目的，本发明提供了如下方案：本发明提供一种图表文档信息理解的方法及系统，其中，一种图表文档信息理解的方法,包括：

采集初始图表文档，对所述初始图表文档进行分类，获得第一图表文档；对所述第一图表文档进行文本检测和识别，获得第二图表文档；对所述第二图表文档进行文本属性分类，获得目标图表文档；基于所述目标图表文档实现对图表文档信息的理解。

优选地，对所述初始图表文档进行分类包括，基于深度神经网络融合SE模块、类别平衡技术，对所述初始图表文档进行特征提取，获得分类结果；基于所述分类结果对所述初始图表文档进行分类，获得所述第一图表文档。

优选地，对所述第一图表文档进行文本检测和识别包括，构建多个检测头级联的神经网络，基于所述检测头级联的神经网络，获得所述第一图表文档的检测多方向矩形框；根据所述检测多方向矩形框，获得文本检测结果；将所述文本检测结果进行水平校正并切分文本行，送入基于CRNN网络的识别器，获得识别结果；基于所述识别结果对所述第一图表文档进行识别，获得所述第二图表文档。

优选地，将所述文本检测结果进行水平校正并切分文本行包括，将所述文本检测结果进行图像块的二值化处理和膨胀腐蚀图像处理，然后利用霍夫变换直线检测计算文本区域的最小外接矩形，获得相应的倾斜角度；根据所述倾斜角度，对所述文本检测结果进行水平校正；对所述图像块进行水平或者竖直方向投影，根据设定阈值切分文本行，获得所述文本行的检测结果；将所述文本行的检测结果送入基于CRNN网络的识别器，获得识别结果。

优选地，将所述文本行的检测结果送入基于CRNN网络的识别器，获得识别结果包括，构建基于主干网络为ResNet系列和BiLSTM时间序列模块的CRNN网络识别器，将所述文本行分别输入CTC模型和Attention模型，获得CTC模型识别结果和Attention模型识别结果；将所述CTC模型识别结果和所述Attention模型识别结果进行集成，获得所述识别结果。